近期大热的AutoML领域，都有哪些值得读的论文？

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。

在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。

点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。

这是 PaperDaily 的第 106  篇文章

Finding Better Topologies for Deep Convolutional Neural Networks by Evolution

@zhangjun 推荐

#Neural Architecture Search

本文通过用进化算法来做卷积神经网络的架构优化，最大的亮点是给出了影响架构性能的关键因素：1. 深度；2. 各节点之间的连接性。通过进化算法优化网络结构最大的瓶颈在于计算效率上，网络架构的效果评价是一个耗时的工作，生成和变异出的大量个体都需要评价。

本文从一个最简单的架构作为初始个体，通过预设定的 5 种变异方式（添加边、节点、滤波器等操作）对原始个体进行变异优化，并通过可视化的方法对进化的过程进行了跟踪分析，找到了一些规律。完全自动化地去设计架构比较难，但通过自动设计分析出的一些结论可以帮助提高人工设计的效率。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2303

Searching Toward Pareto-Optimal Device-Aware Neural Architectures

@zhangjun 推荐

#Multi-objective Optimization

本文来自 Google Research 和国立清华大学。大多数 NAS 的工作都针对优化结果在 test dataset 上的准确性，而忽略了在一些硬件设备（比如：手机）上的模型还应考虑延迟和功耗，由此可将单目标优化问题转换成一个多目标优化问题，本文深入分析了两种常见的多目标 NAS 模型 MONAS 和 DPP-Net，并在一些设备上进行了实验对比。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2259

Neural Architecture Search: A Survey

@zhangjun 推荐

#Neural Architecture Search

深度学习模型在很多任务上都取得了不错的效果，但调参对于深度模型来说是一项非常苦难的事情，众多的超参数和网络结构参数会产生爆炸性的组合，常规的 random search 和 grid search 效率非常低，因此最近几年神经网络的架构搜索和超参数优化成为一个研究热点。

本文是一篇神经网络架构搜索综述文章，从 Search Space、Search Strategy、Performance Estimation Strategy 三个方面对架构搜索的工作进行了综述，几乎涵盖了所有近几年的优秀工作。

论文详细解读：神经网络架构搜索（NAS）综述 | 附AutoML资料推荐

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2249

Reinforced Evolutionary Neural Architecture Search

@zhangjun 推荐

#Neural Architecture Search

本文来自 arXiv，作者来自自动化所和地平线。用进化算法来搜索模型结构存在算法不稳定的问题，用强化学习来搜索存在效率存在一定的问题，于是本文将两者结合起来，各取其长。整体框架是基于进化算法，而 mutation 操作是用到了强化学习来控制。在 CIFAR-10 上用了更少的计算资源，得到了较优的结果。并在移动端进行了测试，在保证较高准确率的基础上，用了较少的参数量。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2311

DARTS: Differentiable Architecture Search

@WildCat 推荐

#Neural Architecture Search

本文来自 CMU 和 DeepMind。当前最佳的架构搜索算法尽管性能优越，但需要很高的计算开销。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，本文提出了一个高效架构搜索方法 DARTS（可微架构搜索），将搜索空间松弛为连续的，从而架构可以通过梯度下降并根据在验证集上的表现进行优化。

作者在 CIFAR-10，ImageNet，Penn Treebank 和 WikiText-2 上进行了大量实验，表明本文算法擅于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2069

源码链接

https://github.com/quark0/darts

Efficient Neural Architecture Search via Parameter Sharing

@Synced 推荐

#Neural Architecture Search

本文来自 Google Brain 和斯坦福大学，论文提出超越神经架构搜索（NAS）的高效神经架构搜索（ENAS），这是一种经济的自动化模型设计方法，通过强制所有子模型共享权重从而提升了 NAS 的效率，克服了 NAS 算力成本巨大且耗时的缺陷，GPU 运算时间缩短了 1000 倍以上。

在 Penn Treebank 数据集上，ENAS 实现了 55.8 的测试困惑度；在 CIFAR-10 数据集上，其测试误差达到了 2.89%，与 NASNet 不相上下（2.65% 的测试误差）。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1678

源码链接

https://github.com/melodyguan/enas

A Flexible Approach to Automated RNN Architecture Generation

@Synced 推荐

#Recurrent Neural Network

本文来自 MIT 和 Salesforce Research，论文提出了一种用于循环神经网络灵活自动化架构搜索的元学习策略，明确涵盖搜索中的全新算子。该方法使用了灵活的 DSL 搜索和强化学习，在语言建模和机器翻译等任务上表现良好。新方法可以让我们摆脱依靠直觉的费力模型设计方式，同时也大大扩展了循环神经网络的可能性空间。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1406

Progressive Neural Architecture Search

@Synced 推荐

#Convolutional Neural Network

本文是约翰霍普金斯大学、Google AI 和斯坦福大学联合发表于 ECCV 2018 的工作，论文提出了一种比之前的方法更高效的用于学习 CNN 结构的方法，其中没有使用强化学习或遗传算法，而是使用了基于序列模型的优化（SMBO）策略。在其中按复杂度逐渐增大的顺序搜索架构，同时学习一个用于引导该搜索的代理函数（surrogate function），类似于 A* 搜索。

该方法在 CIFAR-10 数据集上找到了一个与 Zoph et al. (2017) 的强化学习方法有同等分类准确度（3.41% 错误率）的 CNN 结构，但速度却快 2 倍（在所评估的模型的数量方面）。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1369

源码链接

https://github.com/chenxi116/PNASNet.TF

Hierarchical Representations for Efficient Architecture Search

@Nevertiree 推荐

#Neural Architecture Search

本文是 CMU 和 DeepMind 发表于 ICLR 2018 的工作，论文提出了一种结合模型结构分层表示和进化策略的高效架构搜索方法，可以模仿人类专家常用的模块化设计模式，和支持复杂拓扑的表达能力很强的搜索空间。该算法能够高效地发现性能超越大量人工设计的图像分类模型的架构，在 CIFAR-10 上获得了 top-1 误差率 3.6% 的结果，在 ImageNet 上取得了 20.3% 的结果。

通过比较人工设计的架构、使用强化学习找到的架构、使用随机或进化搜索找到的架构的实验结果，研究者发现这种搜索方法能有效找到性能超越人工设计的架构。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1233

Accelerating Neural Architecture Search using Performance Prediction

@velconia 推荐

#Neural Architecture Search

本文来自 MIT 和哈佛，论文针对 NN 的 AutoML 中遇到的 Early Stopping 问题，提出了一种新方法：用线性模型预测模型的最终训练结果。AutoML 中，Hyperparameters 的搜索过程是一个 CPU Super Expensive 的过程，这个方法能够降低大约 50% 的搜索时间。

这是一个新思路，并且我对这个方法做了一些实验（主要在 CNN 上），效果确实还不错，说明这是可行的，我认为在不论是手工调优还是自动调优，这个方法都是以后的训练框架可以借鉴的。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1897

数据集链接

https://github.com/MITAutoML/accelerating_nas

Large-Scale Evolution of Image Classifiers

@chlr1995 推荐

#Image Classification

本文是 Google 发表于 ICML 2017 的工作。要执行现实任务时，神经网络需要专家大量的研究设计，而且通常只能执行单个具体的任务，例如识别照片中的目标等。人们希望拥有自动化的方法，为任意给定的任务生成合适的网络架构。

先前有一些开创性的研究利用学习的方式来设计网络结构。Google 想利用计算资源以前所未有的计算规模和尽量少的专家干预，获得更好的解决方案。

Google 结合进化算法，以简单的架构模块和常用的初始条件，设置了一个演化过程，取得了不错的结果。整个过程简单粗暴，每次演化随机删除或添加一个结构模块，或者添加 skip connection；同时过程中，保留优质的网络作为亲代，抛弃效果不好的网络结构。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/1850

源码链接

https://github.com/neuralix/google_evolution

Evolving Deep Neural Networks

@zhangjun 推荐

#Evolutionary Algorithm

本文来自 GECCO 2016，论文提出了一种改进 NEAT 的 DNN 网络架构搜索方法，并在 CNN、RNN 和两者的混合应用中进行了算法的验证，取得了不错的效果。本方法属于现在比较火的 neuroevolution，包括 Google, DeepMind, OpenAI, Sentient, Uber 等在内的很多公司都在研究，用来设计效果更好的网络结构。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2307

Genetic CNN

@zhangjun 推荐

#Genetic Algorithms

本文是约翰霍普金斯大学发表于 ICCV 2017 的工作，是一篇将遗传算法用于 CNN 架构搜索问题的论文。文章探索了用遗传算法的几个标准步骤来解此问题，包括网络架构的编码，优秀个体的选择，交叉和变异方法等，在几个小型数据集上进行了实验，并将小型实验生成的优良结构应用于大型数据集取得了不错的效果。

用进化算法做网络架构搜索是一种很常见和经典的手段，但这类方法有个巨大的缺点就是计算量太大，因为太多的可行解需要进行评价，而每一次评价都是一个非常耗时的计算过程。所以，如何加速评价是解决目前网络架构搜索问题的核心问题之一。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2306

源码链接

https://github.com/aqibsaeed/Genetic-CNN

Designing Neural Network Architectures using Reinforcement Learning

@zhangjun 推荐

#Neural Architecture Search

本文是 MIT 发表于 ICLR 2017 的工作，论文提出了一种基于 Q-learning 的 meta modeling 方法，对特定任务进行 CNN 网络架构的生成，取得了不错的效果，属于用强化学习来生成网络架构中一种比较典型的做法。文章中考虑的情况比较简单，将网络搜索问题转化为用强化学习对一个有限域状态和动作的问题进行优化求解，优化变量考虑的比较简单且都为离散化，整体感觉应用意义不大。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2274

源码链接

https://github.com/MITAutoML/metaqnn

CMA-ES for Hyperparameter Optimization of Deep Neural Networks

@zhangjun 推荐

#Bayesian Optimization

本文是一篇 2016 年 ICLR 的 workshop paper，文章内容只介绍了实验部分。本文将所有超参数都换为连续变量，用比较经典的一种连续域无梯度优化算法 CMA-ES 对问题进行优化求解，并和贝叶斯优化算法进行对比。本文的这种方法最大的优势在于非常易于并行化处理，用更多的 GPU 可以达到非常不错的效果。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2265

An Empirical Exploration of Recurrent Network Architectures

@zhangjun 推荐

#Recurrent Neural Networks

本文是 Google 发表于 ICML 2015 的工作，论文研究了用进化算法设计更好的 RNN 结构，以在更多的任务上表现超过 LSTM 和 GRU，但最终得到的三种最好结构和 GRU 的形式很像。

文中方法的思路仍是在现有的 LSTM 基础上进行一些增加和删除，即所谓的 mutation，这类做法相当于在非常多的排列组合中寻优，但问题维度空间的定义和变异方式的定义，已经从开始扼杀了创造新结构的动力。如何突破现有网络结构，设计出全新的高性能架构是一个非常有趣的问题。

▲ 论文模型：点击查看大图

论文链接

https://www.paperweekly.site/papers/2308

#推 荐 有 礼#

本期所有入选论文的推荐人

均将获得PaperWeekly纪念周边一份

▲ 深度学习主题行李牌/卡套 + 防水贴纸

 礼物领取方式 

推荐人请根据论文详情页底部留言

添加小助手领取礼物

想要赢取以上周边好礼？

点击阅读原文即刻推荐论文吧！

点击以下标题查看往期推荐： 

•   15篇最新AI论文了解一下 | 本周值得读

•   收下这12篇最新论文，炼丹不愁没灵感

•   暑假没人带怎么办？还有我们为你推荐论文

•   本周份AI论文推荐新鲜出炉！真的很skr了~
  

•   本周最热 AI 论文大集合，还不快一键收藏？

• 还在熬夜憋思路？这12篇最新论文打包送给你

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

投稿邮箱：

• 投稿邮箱：[email protected] 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 打包下载本期论文