何恺明大神新作--UnNAS：无监督神经网络架构搜索

点击上方，选择星标或置顶，不定期资源大放送！

阅读大概需要15分钟

Follow小博主，每天更新前沿干货

作者：江山如画

编辑：Cver

链接：https://zhuanlan.zhihu.com/p/118161558

本文仅供学习参考，如有侵权，请联系删除！

Are Labels Necessary for Neural Architecture Search?

论文：https://arxiv.org/abs/2003.12056

何恺明和Ross Girshick再次联手，在AutoML领域发力，文章在3月27日刚刚能够搜索到（刚刚收录到 ECCV 2020）。

这篇文章的主旨思想是：研究NAS的新方向，即利用无人工Label的数据集实现NAS的效果，并且通过实验证明，非监督的方法与监督方法相相比较在多数情况下相关性较大(>0.8)，而在一些任务中，无监督方法搜索出来的网络甚至大于监督方法搜索出来的网络。

个人觉得这篇文章的意义主要在于一个方向的探索，而之所以会产生这个方向探索，并不是凭空想象出来，而是对于人工智能的现状有着深刻的了解，能够整合各个领域的发展以及优缺点，自然而生的想法。

下面是我尝试的简单推导过程，可以说无监督的NAS是一个发展的必然趋势。

本文通过两个实验来对UnNAS进行了比较分析，分别是基于样本的实验以及基于搜索的实验。

基于样本的实验，主要是为了验证无监督和有监督的网络结构的相关性。具体做法为在两个搜索空间（DART以及NAS-Bench-101）三个pretext tasks，两个datasets对NAS和UnNAS的结果进行相关性分析。最后实验得出，NAS和UnNAS的结果具有高度相关性。

具体实验可以概括为，在取多个网络，每一个网络分别在NAS和UnNAS中进行简单的训练，然后在验证集上验证他们的准确率。得到一个准确率对。比如在NAS中的准确率为  ，在UnNAS中的准确率为  ,然后计算这两组数据的相关性。（稳重实际是取500个，每次从500个中取出m个，进行500/m次试验，但是为了说明思想，尽可能进行简单的概括）。

相关性大，则能够说明，UnNAS和NAS对相同网络的性能具有相似的评价，UnNAS可以替代NAS。

这里仅给出一组在分类任务重相关性的图，实际上在分各种相关性更高。

基于搜索的实验相对基于分类的实验而言，更加符合AutoML的任务——找到最佳的网络。如果说基于样本的实验更加偏向于理论分析的话，基于搜索的实验则更加偏向目的。具体做法一言以蔽之——用NAS搜索一个最好的结构，再用UnNAS搜索一个最好的结构，然后比较一下哪一个网络结构在目标任务上表象效果更好。最终的结论就是，UnNAS足以媲美NAS，甚至在一些任务上还有着明显的提高。

以上两个实验也就回答了论文的标题，Are Labels Necessary for Neural Architecture Search?

Label不是必须的，可以进行无监督的搜索。

最后再来整理一下文章实验的思路

下载

在 深度学习技术前沿 后台回复：UnNAS，可下载该论文

重磅！DLer-AutoML&NAS交流群成立

扫码添加DLer助手，申请加入AutoML&NAS微信交流群，本群旨在交流模型压缩/量化/剪枝、AutoML、NAS、迁移学习、自监督学习、无监督学习、元学习等内容。欢迎对这些研究方向感兴趣的小伙伴加群一起交流学习！

加群请备注：研究方向+学校/公司+昵称（如NAS+上交+小明）

???? 长按识别添加，邀请您进群！