CVPR 2020: SGAS,一种基于贪心思想的CNN/GCN网络结构搜索算法
CVPR 2020: SGAS,一种基于贪心思想的CNN/GCN网络结构搜索算法论文作者来自阿卜杜拉国王科技大学的在读博士生李国豪,本次分享的是KAUST与Intel ISL在 C
论文作者来自阿卜杜拉国王科技大学的在读博士生李国豪,本次分享的是KAUST与Intel ISL在 CVPR 2020 的工作:SGAS,一种基于贪心思想的CNN/GCN网络结构搜索算法。
本工作通过贪心(greedy)的搜索方式减轻了NAS中模型排名在搜索和最后评估不一致的问题。是一种更优更快的网络结构搜索算法,并同时支持CNN和GCN的搜索。代码已开源,想在图像,点云,生物图数据上做网络结构搜索的同学都可以试一试。
相关工作
网络结构搜索(NeuralArchitecture Search, 简称NAS) 是一种神经网络结构自动化设计的技术。NAS基于相应算法在特定的样本集内自动设计出高性能的网络结构。这些自动搜索出的网络结构在某些任务上已经媲美或超过了人类专家手工设计的网络结构。
早期NAS的算法是基于强化学习(Zoph et al.[1])或进化算法(Real et al.[2])。这些算法计算成本高昂,阻碍了其广泛应用。近来,Liu et al.[3]提出了一种高效的可微分的网络结构搜索算法:可微分网络结构搜索(Differentiable Architecture Search, 简称DARTS)。DARTS的提出使得网络结构搜索在单卡一天内完成搜索。后续许多工作都基于DARTS基础上进行改进,比如SNAS/FBNet/ProxylessNAS/P-DARTS/GDAS/MdeNAS/PC-DARTS/FairDARTS等等。
背景知识:DARTS
DARTS采用基于单元(Cell)的搜索方法进行网络结构搜索。Cell是一个网络子模块,可以自由堆叠多次形成卷积网络。DARTS通过学习cell的结构,完成对网络的结构搜索。Cell是由N个节点的有序序列组成的有向无环图(如图1)。Cell中每个节点x^(i)是卷积网络中的特征图,每个有向边(i,j)代表一种对x的运算o(i, j) (如3x3的卷积)。一个cell具有两个输入节点,一个输出节点和多个中间结点。Cell的输入节点被定义为前两层的输出。Cell的输出是对所有中间节点进行归约运算(例如concatenation)后的结果。每个中间节点由它之前结点经过算子op变换后相加得到:
DARTS为了实现可微搜索,提出了搜索空间的continuousrelaxation机制,利用softmax函数来学习所有可能候选运算op的权重:
其中,$mathcal(O)$ 表示搜索空间中的候选运算(例如卷积,最大池化,零)等,零表示没有运算(边)。其中一对节点(i,j)之间的运算由向量lpha_{i, j}参数化。运算的结果是每种可能运算结果的加权求和。向量lpha_{i, j}的维度为搜索空间长度|O|。因而,DARTS将网络结构搜索的任务简化为了学习一组连续变量lpha= {lpha(i, j)},如图1所示。DARTS在搜索结束阶段,通过argmax得到权重最大的候选运算op当作该边的搜索结果:
图1 DARTS的单元结构以及网络结构搜索示意图[3]
3 4 5 首页 下一页 上一页 尾页-
总结长期积累的经验,腾讯发布自研数据中心开放光网络传输设备2020-04-22
-
上海添涔网络科技有限公司:全面发展人工智能技术2020-04-21
-
二手车减负,汽车产业或将迎来结构性调整2020-04-20
-
科学家使用神经网络改变步行机器人NeuroPod的步态2020-04-17
-
科创日报|华为进军新能源充电领域;区块链服务网络BSN将全球商用2020-04-17
-
印度BSNL启动4G网络招标:覆盖约5万站点2020-04-16
-
三星将在5G网络设备中使用赛灵思芯片2020-04-16
-
TUV南德携手DRIVESEC,开展汽车部件网络安全评估服务2020-04-15
-
CVPR 2020:IR-Net,信息保留的二值神经网络2020-04-15
-
南方电网5G智能电网项目成为GSMA首个网络切片PoC案例2020-04-15
-
Elisa及爱立信获芬兰十年期5G公共安全网络大单2020-04-12
-
以简驭繁,福州电信携手华为部署福建首个A+P,卓越5G网络赋能未来2020-04-12
-
山西8项措施推进5G网络发展2020-04-10
-
网络电话质量差,WaveNetEQ来帮忙2020-04-09
-
康奈尔大学研究员提出利用归一化信息, 提取图像特征中结构性信息的新方法2020-04-09