AutoML论文笔记(四)SGAS Sequential Greedy Architecture Searc:连续贪婪神经网络搜索

文章题目:SGAS: Sequential Greedy Architecture Search
链接:link https://arxiv.org/abs/1912.00195
会议期刊:CVPR 2020

论文阅读笔记,帮助记忆的同时,方便和大家讨论。因能力有限,可能有些地方理解的不到位,如有谬误,请及时指正。

小知识

在统计学中,肯德尔相关系数是以Maurice Kendall命名的,并经常用希腊字母τ表示其值。肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。一个肯德尔检验是一个无参数假设检验,它使用计算而得的相关系数去检验两个随机变量的统计依赖性。
 1)如果两个属性排名是相同的,系数为1 ,两个属性正相关。
 2)如果两个属性排名完全相反,系数为-1 ,两个属性负相关。
 3)如果排名是完全独立的,系数为0。

论文内容

随着深度学习的飞速发展,AI算法工程师由特征提取工程师演变为网络结构工程师。因此网络结构的确定对于深度学习至关重要,这也促进了神经网络搜索技术(NAS)的快速发展。
 但是NAS技术都有一个通病:在搜索过程中验证精度较高,但是在实际测试精度却没有那么高。传统的基于梯度搜索的DARTS技术,是根据block构建更大的超网,由于搜索的过程中验证不充分,最终eval和test精度会出现鸿沟。从下图的Kendall系数来看,DARTS搜出的网络排名和实际排名偏差还是比较大。
 AutoML论文笔记(四)SGAS Sequential Greedy Architecture Searc:连续贪婪神经网络搜索_第1张图片

为解决这个问题,目前博主了解到的方式有1、渐进式放宽channel数;2、在搜索的过程中,把eval数据集的精度加权到loss中; 3、将网络切分为更小的block,彻底训练以保证正确的排序;4、用xgboost算法预处理eval步骤;5、加入非监督数据强化eval。本文使用的是一个贪婪的NAS算法,利用搜寻过程中验证精度和最终的测试精度的关系,逐步搜索。在DARTS的基础上,搜索时间更短,并且可同时作用于CNN和GCN。
 还是用的双层优化的架构:
 
 将DARTS切分为一个个小问题——DAG中边的选择。根据选择标准,每次只选择一边,取其中性能最优的,选取后逐步剪枝。这样不仅规避了权重共享,而且加速了训练。这决定性的选择标准取自三个方面:
 边的重要性——Softmax:

 选择的准确性——归一化熵:
 
 选择的稳定性——直方图正交:
 AutoML论文笔记(四)SGAS Sequential Greedy Architecture Searc:连续贪婪神经网络搜索_第2张图片
 三剑客归一化后相乘,选取其中得分最高者。
 SGAS的搜索空间沿用了DARTS,在Cifar10上,其搜索时间和精度都是最优。
 AutoML论文笔记(四)SGAS Sequential Greedy Architecture Searc:连续贪婪神经网络搜索_第3张图片
 迁移到ImageNet中,在端侧数量级的网络中,表现也不错。
 AutoML论文笔记(四)SGAS Sequential Greedy Architecture Searc:连续贪婪神经网络搜索_第4张图片
 同时SGAS在GCN中也有不俗的表现。

亮点和收获
  1. 用贪婪算法,大问题拆分为小问题,逐步突破。既保证了精度,又提高了效率。
  2. 首次提出边的重要性、选择准确性和选择稳定性这三剑客的思想,而不是单纯的用验证精度作为选择网络的标准,有效的规避了验证和测试之间的精度鸿沟。
  3. 首次将NAS技术引入到图神经网络中。

你可能感兴趣的:(AutoML论文笔记)