AutoML论文笔记（一） MiLeNAS Efficient NAS via Mixed-Level Reformulation:通过混合重组实现高效神经网络架构搜索

文章题目：MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation

链接：link https://arxiv.org/abs/2003.12238

会议期刊：CVPR 2020

论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。

论文内容

随着AI的普及，对于深度学习降低门槛的需求越来越强烈。近年来AutoML技术爆发式增长，无论是产业界还是学术界都有丰富多样的产品。其中神经网络架构搜索技术（Neural Architecture Search 简称NAS）主要分为三类技术途径：基于进化算法的技术、基于强化学习算法的技术和基于梯度更新的技术。本文是在基于梯度的代表性算法DARTS的基础上做了改进，相较于之前的DARTS，速度和精度都有提升。
　之前的主网络和子网络包含在大Garph中的双层结构，每次搜索完都需要等子网络训练收敛才行。

而类似于SinglePath的单层结构，尽管有Dropout之类的正则化方式，仍然无法避免过拟合，导致训练和验证精度之间出现鸿沟。
　因此在综合了以上两种方式后，选取一个折中方案，在拉格朗日乘子和归一化后，最终一阶的混合层优化Loss变为以下公式：

　为证明以上公式的正确性，文章中对比了一二阶MiLeNAS和DARTS，最终结论是一阶MiLeNAS＞二阶DARTS＞一阶DARTS＞二阶MiLeNAS。在搜寻最优网络结构的同时，加入了带权重的验证精度，该算法的框架如下图：

　MiLeNAS对比其他NAS算法，常规操作——在Cifar10上搜索、训练、测试一条龙；网络结构固定后迁移到ImageNet，从头开始训练并测试，实验结果如下，可见精度和速度都有提升：
　
　

亮点和收获

1.虽然这种方法并不是现有最优的，但是其他方法的优势可能是搜索空间或者搜索策略带来的，这种混合层级优化的NAS是一种通用的优化方法。
2.我们通常的观点是模型越大，性能越好。在规避过拟合的前提下，往往希望模型越大越好。文章中跟踪了Model-size，发现其实这种现象并不是单调的，会有拐点。

这种实时跟踪模型大小，不仅可以满足那些对Model-size有要求的任务，权衡精度和大小，同时可以作为模型压缩的另一种思路。（DARTS之所以没有这么稳定的规律，个人认为是梯度计算误差导致的扰动，如果采样够多，应该能统计出相似规律）。
3.根据Model-size来Early-Stop。
4. 用可微的Gumbel-Softmax替代原有的Softmax来加速训练。