AutoML-Zero 摘要速览

AutoML-Zero: Evolving Machine Learning Algorithms From Scratch
https://github.com/google-research/google-research/tree/master/automl_zero
https://arxiv.org/abs/2003.03384

AutoML-Zero 目标是自动发现 能解决机器学习任务 的计算机程序，从空白或随机程序开始 只使用基本数学运算操作（加减乘除），目标是持续搜索一个机器学习算法的各个方面，包括模型结构和学习策略，同时只使用很少的 human bias

AutoML主要集中在解决神经网络结构上，即依赖于复杂的定义好的网络子结构，以及相似的受限的搜索空间，我们的目标是提出AutoML可以走的更远：自动发现完整的机器学习算法，靠仅仅使用基本的数学运算操作（加减乘除） 作为building blocks. 我们提出一个新颖的框架，能够显著减少在搜索空间的human bias（应该就是人类帮助的意思），尽管搜索空间是巨大的，搜索仍然 通过反向传播训练 能发现2层神经网络，这些简单的神经网络 能进化出比如bilinear interactions, normalized gradients 和 weight averaging，以及，进化出 在有少量数据的时候 能出现类似dropout的技巧，我们认为这些能从零发现出机器学习算法会是一个新的方向