AutoML论文笔记（三）Semi-Supervised Neural Architecture Search：基于半监督学习的神经网络架构搜索

文章题目：Semi-Supervised Neural Architecture Search

链接：link https://arxiv.org/abs/2002.10389

会议期刊：CVPR 2020

论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。

论文内容

神经网络结构搜索技术（NAS）依赖于：一个好的控制网路（controller）能够准确的生成优秀的子网络或者对于子网络的精度有精确的预测。然而和传统的监督学习一样，要实现这么好的controller，需要喂给他大量的高质量的结构-精度对。这个无论从算力要求和实际数据要求，都是难以实现的。
　本文借鉴了半监督学习的思想，通过利用不含标签的网络结构数据来训练controller，主要循环迭代以下三个步骤：
　（1）先利用少量的结构-精度对来训练一个初始化的controller
　（2）用这个controller预测大量原始网络结构的精度
　（3）将生成的结构-精度对加入到起始的数据中
　这种方式不仅减少了训练时间，而且精度更高。NAS技术中一个经典的加速手段是参数共享，在享受训练时间大幅缩小的红利时，对应的付出了表现欠优和难以复现的代价。其根结主要是在网络搜寻的过程中，需要对训练时间和精度做权衡，得不到准确的结构-精度对。
　文中相对于之前的NAS，用auto-encoder作为controller（由于相比于LSTM有更好的并行性，作者选择了encoder-predictor-decoder架构）。在训练controller的时候，借鉴了NAO论文，将预测loss和重建loss加权组合为最终Loss：
　
　然后利用梯度上升算法更新controller参数，从而更好的预测子网络精度。
　
　在NASBench-101数据集中，SemiNAS在1/7算力条件下，精度并没有下降。
　
　并且在ImageNet数据集中，top-1精度达到了76.5%，已进入第一梯队。
　
　论文中又将该NAS算法应用到文字转声音的任务中，也有不俗的表现。

亮点和收获

1. 高精度的结构-精度对比较稀缺，但是在神经网络搜索的过程中，准确验证子网络精度又至关重要。本文用半监督学习的方法，先用少量的优质数据训练出一个pretrained controller，然后利用大量的原始结构来提升controller的性能。
2. 方法普适，可用于多种NAS。在精度不降的前提下，高效的降低了算力要求。
3. 未来在语音识别，文档终结等NLP领域，可以尝试更先进的半监督学习算法。