AutoML论文笔记（四）SGAS Sequential Greedy Architecture Searc：连续贪婪神经网络搜索

文章题目：SGAS: Sequential Greedy Architecture Search

链接：link https://arxiv.org/abs/1912.00195

会议期刊：CVPR 2020

论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。

小知识

在统计学中，肯德尔相关系数是以Maurice Kendall命名的，并经常用希腊字母τ表示其值。肯德尔相关系数是一个用来测量两个随机变量相关性的统计值。一个肯德尔检验是一个无参数假设检验，它使用计算而得的相关系数去检验两个随机变量的统计依赖性。
　1）如果两个属性排名是相同的，系数为1 ，两个属性正相关。
　2）如果两个属性排名完全相反，系数为-1 ，两个属性负相关。
　3）如果排名是完全独立的，系数为0。

论文内容

随着深度学习的飞速发展，AI算法工程师由特征提取工程师演变为网络结构工程师。因此网络结构的确定对于深度学习至关重要，这也促进了神经网络搜索技术（NAS）的快速发展。
　但是NAS技术都有一个通病：在搜索过程中验证精度较高，但是在实际测试精度却没有那么高。传统的基于梯度搜索的DARTS技术，是根据block构建更大的超网，由于搜索的过程中验证不充分，最终eval和test精度会出现鸿沟。从下图的Kendall系数来看，DARTS搜出的网络排名和实际排名偏差还是比较大。
　

为解决这个问题，目前博主了解到的方式有1、渐进式放宽channel数；2、在搜索的过程中，把eval数据集的精度加权到loss中； 3、将网络切分为更小的block，彻底训练以保证正确的排序；4、用xgboost算法预处理eval步骤；5、加入非监督数据强化eval。本文使用的是一个贪婪的NAS算法，利用搜寻过程中验证精度和最终的测试精度的关系，逐步搜索。在DARTS的基础上，搜索时间更短，并且可同时作用于CNN和GCN。
　还是用的双层优化的架构：
　
　将DARTS切分为一个个小问题——DAG中边的选择。根据选择标准，每次只选择一边，取其中性能最优的，选取后逐步剪枝。这样不仅规避了权重共享，而且加速了训练。这决定性的选择标准取自三个方面：
　边的重要性——Softmax：

　选择的准确性——归一化熵：
　
　选择的稳定性——直方图正交：
　
　三剑客归一化后相乘，选取其中得分最高者。
　SGAS的搜索空间沿用了DARTS，在Cifar10上，其搜索时间和精度都是最优。
　
　迁移到ImageNet中，在端侧数量级的网络中，表现也不错。
　
　同时SGAS在GCN中也有不俗的表现。

亮点和收获

1. 用贪婪算法，大问题拆分为小问题，逐步突破。既保证了精度，又提高了效率。
2. 首次提出边的重要性、选择准确性和选择稳定性这三剑客的思想，而不是单纯的用验证精度作为选择网络的标准，有效的规避了验证和测试之间的精度鸿沟。
3. 首次将NAS技术引入到图神经网络中。