【论文笔记】AutoML: A survey of the state-of-the-art（下篇）

4. Model Generation 模型生成

书接上文，到了最重要的一部分章节了，文章的这部分开始介绍NAS相关的内容。还没看上篇的小伙伴可以戳此链接：

【论文笔记】AutoML: A survey of the state-of-the-art（上篇）

  上图展示的是NAS方法的一个流程，可以大致将其分成搜索空间、架构优化方法（搜索策略）、模型评估方法。

  - 搜索空间。搜索空间定义了神经结构的设计原则。不同的场景需要不同的搜索空间。在这里，我们总结了四种常用的搜索空间类型：全结构的、基于单元格的、分层的和基于形态的。
  - 搜索策略。体系结构优化（AO）方法定义了如何在定义了搜索空间后，引导搜索有效地找到具有高性能的模型体系结构。
   - 模型评价方法。一旦生成了一个模型，就需要评估其性能。最简单的方法是训练模型收敛在训练集上，然后在验证集上估计模型的性能；然而，这种方法是耗时和资源密集型的。一些先进的方法可以加速评估过程，但在评估过程中失去保真度。因此，如何平衡评价的效率和有效性是一个值得研究的问题。

4.1 Search Space 搜索空间

4.1.1 Entire-structured search space 基于整个架构的

  顾名思义，基于整个架构的搜索空间将整个网络架构作为一个搜索的基本单位，算法每次搜索一个完整的网络架构。
  全结构神经网络的[12,13]空间是最直观、最直接的搜索空间之一。下图6给出了两个全结构化模型的简化示例，它们是通过叠加预定义数量的节点来构建的，其中每个节点代表一个层，并执行一个指定的操作。图6所示的左侧模型表示最简单的结构，而右模型相对复杂，因为它允许有序节点之间存在任意跳过连接[2]；这些连接在实践[12]中被证明是有效的。虽然整个结构很容易实现，但它也有几个缺点。例如，人们普遍认为，模型越深，其泛化能力就越好；然而，寻找这样一个很深的网络是繁重的和计算昂贵的。此外，生成的架构缺乏可转移性；也就是说，在一个小的数据集上生成的模型可能不适合一个更大的数据集，这就需要为一个更大的数据集生成一个新的模型。

4.1.2 Cell-based search space 基于Cell的空间

  动机。为了使生成的模型具有可转移性，提出了基于细胞的搜索空间[15,16,13]，其中的神经结构由固定数量的重复细胞结构组成。这种设计方法是基于观察到的许多性能良好的人工设计的模型[2,127]也是通过堆叠固定数量的模块来构建的。例如，ResNet系列通过堆叠几个瓶颈模块[2]来构建许多变体，如ResNet50、ResNet101和ResNet152。在整个文献中，这个重复的模块被称为motif、cell或block，而在本文中，称之为cell。下图就是一个典型的基于Cell的例子

4.1.3 Hierarchical search space 层次化的空间

  基于单元的搜索空间使生成的模型具有可转移性，大多数基于单元的方法[13,15,23,16,25,26]遵循两级层次结构：内部是单元级，它选择单元中每个节点的操作和连接，外部是网络级，它控制空间分辨率的变化。然而，这些方法关注于单元级，而忽略了网络级。如图