Google自动编码框架AutoML

概述：什么是AutoML？

目前机器学习（machine leraning）成功的关键在于人类工程师完成如下的工作：

• 预处理数据
• 选择适当的功能
• 选择一个适当的模型选择系列
• 优化模型超参数
• 后处理机器学习模型
• 严格分析所得结果

AutoML自动机器学习致力于研究机器学习自动化实现，面向没有专业机器学习知识的用户。同时也向专业机器学习人士提供了新的工具，如：执行深层表示的框架搜索；分析超参数的重要性。AutoML主张开发可以用数据驱动的方式自动实例化的灵活软件包。

Automl的发展历史

1、首先是人工网络结构搜索，从Inception v1,v2,v3,v4,ResNet到Xception. Inception-ResNet 的网络结构请参考论文：https://arxiv.org/pdf/1602.07261.pdf

a、Inception v1的网络，主要提出了Inceptionmodule结构（1*1，3*3，5*5的conv和3*3的pooling组合在一起），最大的亮点就是从NIN（Network in Network）中引入了1*1 conv。

b、Inception v2的网络，加入了BN（Batch Normalization）层，减少了InternalCovariate Shift，并且使用2个3*3替代1个5*5卷。

c、Inception v3网络，主要在v2的基础上，提出了卷积分解（Factorization），比如：将7*7分解成两个一维的卷积（1*7,7*1）。

d、Inception v4主要利用残差连接（Residual Connection）来改进v3结构，代表作为，Inception-ResNet-v1，Inception-ResNet-v2，Inception-v4

e、在Inception V3的基础上提出了Xception（Extreme Inception），基本思想就是通道分离式卷积（depthwise separable convolution operation）。

2、神经网络搜索初探

Barret Zoph 使用强化学习进行网络结构搜索，网络框架图如下图：

Controller 是由 RNN 构成能够产生每层网络的 Kernel 大小和 skip connection 的连接，产生了网络结构之后，使用网络结构的准确率作为 Reward function。Controller 会根据 reward function 的反馈进行网络结构调节，最后会得到最优的网络结构。Controller 生成网络结构预测如下图：

3、神经网络搜索技术实用之路探索

为了让结构搜索的工作能够实用，Google 的研究者从 progressive Search，Transferable architecture 和 Bayesian 的角度进行探索，并且取得了进展。