Regularized Evolution for Image Classifier Architecture Search--阅读笔记

论文来源：AAAI 2019
论文链接：Regularized Evolution for Image Classifier Architecture Search

Abstract

这篇论文开发了一种图像分类器AmoebaNet-A，它首次超越了手工设计。为此，我们通过引入年龄属性来修改比赛选择进化算法，以支持年轻的基因型。

当AmoebaNet-A具有与人工设计的模型大小一致时，二者精度相当；但当AmoebaNet-A比人工设计模型大时，AmoebaNet-A可获得更高的精度，top1-83.9% 和 top5-96.6%。

与强化学习对比，进化算法可以使用相同的硬件更快地获得结果。

Introduction

为了做到这个效果，作者进行了以下努力：

1. 首先，完善进化算法的个体选择部分，将其称为老化进化或正则化进化。 将每个基因类型与年龄相关联，保留最佳基因型（架构），并偏向锦标赛选择以选择较年轻的基因型。
2. 其次，实现了最简单的一组突变，这些突变将允许在NASNet搜索空间中进化。 该搜索空间将卷积神经网络架构与有向图相关联，其中顶点表示隐藏状态，标记边表示公共网络操作（例如卷积或池化层）。 我变异规则只是通过随机地将边缘的原点重新连接到不同的顶点并通过随机重新标记边缘来覆盖整个搜索空间来改变体系结构。

Methods

搜索空间

搜索的结构是固定的，如下

初始的两个输入tensor作为hidden state 0,1，一个cell总共有7个hidden state和5个pairwise combination。当cell结构确定时，可通过以下两个参数改变整体架构：

1. normal cell 堆叠的个数；
2. 卷积操作输出的channel数。

Evolutionary Algorithm

在每个周期，它从群体中对S个随机模型进行采样，每个随机抽样均匀地替换。 选择该样本中具有最高验证适合度的模型作为父母。 一种称为子的新体系结构是通过应用称为变异的变换从父体构造的。 突变导致对架构的简单且随机的修改, 一旦构建了子架构，就会对其进行训练，评估并添加到人口中。 此过程称为比赛选择。

在比赛选择中常见的是将种群大小固定在初始值P上。这通常在每个循环中通过额外步骤来完成：

1. 非衰老演化：丢弃（或杀死）随机S样本中的最差模型；
2. 衰老演化：从群体中移除最早训练的模型，允许我们更多地探索搜索空间，而不是过早地放大好模型。

直观地，突变可以被认为是提供探索，而父选择提供了利用。 参数S控制利用的积极性：S = 1减少为一种随机搜索，2≤S≤P导致变化贪婪的演变。

突变分为两种类型：

1. hidden state突变，选择连接方式；首先随机选择cell种类，选择cell后，随机均匀地挑选出五种成对组合中的一种；选择成对组合后，则随机均匀地选择该对中的两个元素之一。 所选元素具有一个隐藏状态。
2. operations突变，选择操作种类。