[NAS3](2019ICCV)RandWire-WS: Exploring Randomly Wired Neural Networks for Image Recognition

---

核心：设计单个网络到设计网络生成器的新转变是可能的，类似于我如何从设计特征转变到设计学习特征的网络。

---

Abstract: 用于图像分类的神经网络通过大量的手动设计从链式模型发展到了有多种有线路径的结构。比如，ResNets和DenseNets的成功很大程度上归因于他们的创新性的连线方式。现在，神经架构搜索NAS也在探索连线和操作的联合优化，但是可能的连线空间是有限的而且还是由手工设计驱动的。所以，作者先定义了a stochastic network generator用于封装网络生成过程，这个封装过程提供了NAS和随机有线网络的统一视野。然后，作者用3个经典的随机图模型生成网络的随机有线图。这个结果非常好：这些随机生成器的几个变体产生了在ImageNet上表现很好的网络实例。实验结果展示了通过探索更少的搜索空间和更新颖的设计来设计更好的网络生成器可以引导新的突破。

1. Introduction

网络的连线很重要。深度学习从联结主义发展到认知科学，这反映出网络的连接对于构建智能机器非常重要。和该观点呼应，最近在计算机视觉方面的研究也从链式连线发展到更精细的连接模型，如ResNet和DenseNet，他们的有效性很大程度上因为他们是有线的。

network generator。神经架构搜索 (NAS) 已成为联合搜索连线模式和执行哪些操作的有前途的方向。NAS关注于搜索同时隐含地依赖于一个我们都忽略的元素——network generator。NAS 网络生成器定义了一系列可能的连线模式，其中网络是服从可学习概率分布的样本。但是，正如ResNet和DenseNet中，NAS网络生成器是手动设计的，且允许的连线模式被限制在所有可能图的一个小子集中。因此，作者提出一个问题：如果松弛这些约束并设计新颖的网络生成器会发生什么？

本文工作。作者从随机网络生成器中采样的随机连线神经网络的角度来探索这个问题，其中人工设计的随机过程定义了生成。为了减少对生成器的偏见，使用了在图论中三个经典的随机图模型：ER, BA, WS。为了定义完整的网络，将随机图转化为有向无环图并应用一个简单的映射将节点映射为他们的功能角色(如同类型的卷积)。

实验结果。这些随机生成器的几个变体产生了在ImageNet上有竞争力的网络。最好的生成器，用了WS模型，产生了多个比手工设计的网络性能更好的网络。作者也观察到由同一生成器产生的不同随机网络的精度差异很小，但不同生成器的产生的网络的精度差异很大。这些观察结果得出：网络生成器的设计也很重要。

prior free的解释。我们注意到，这些随机有线网络即使是随机的，也不是“prior free”的。许多先验知识实际上隐含地设计在了生成其中，包括选择特定的规则和分布来控制连接或不连接某些节点的概率。每个随机图模型都有确定的概率行为使得采样的图展示出某种属性（比如，WS是高度聚集的）。最终，生成器的设计决定了网络的概率分布，因此这些网络都趋于一定的属性。在这样的先验知识下进行生成器设计也是不容忽略的。

NAS网络生成器的设计。本文探索了与随机搜索 NAS 的并发工作正交的方向。这些研究展示了在NAS搜索空间中随机搜索是有竞争力的，也就是NAS网络生成器的设计是有竞争力的。最终，本文工作表明，从设计单个网络到设计网络生成器的新转变是可能的，类似于我如何从设计特征转变到设计学习特征的网络。本文建议设计网络生成器来生成用于搜索的一系列新模型，而不是主要关注使用固定生成器进行搜索。设计的网络生成器（在 NAS 和其他地方）的重要性也意味着机器学习还没有完全自动化，即潜在的人类设计和先前从网络工程到网络生成器工程的转变。

2. Related Work

Network wiring. 早期的RNN和CNN使用了链式连线模式。LSTM用了更精细的连线方式以创建门控机制。Inception CNNs级联多个、不规则的分支路径，同时ResNets使用残差结构，DenseNets使用concatenation。这些连线模型都非常有效。

NAS. Zoph和Le定义了一个NAS空间并将RL做为优化算法。近期NAS主要关注于优化算法，比如RL, progressive, 基于梯度的，权重共享的，进化，和随机搜索方法。这些方法的搜索空间由网络生成器隐含地决定，无法改变。虽然这对于比较优化方法是合理的，但它本质上限制了可行解决方案的集合。

Randomly wired machines. 人工智能的先锋最开始感兴趣于随机有线硬件和在计算机程序上的实施，即人工神经网络。在1940年，Turing提出了unorganized machines的概念，他是最早的随机有线网络的形式。最早的网络学习机器是由Minsky在1950年设计，并使用vacuum tubes实施。在 1950 年代后期，Rosenblatt建造的“Mark I Perceptron”视觉识别机使用了随机连接的光电池阵列。

Relation to neuroscience. 图灵分析了unorganized machines到婴儿的大脑皮层。Rosenblatt指出“神经系统的物理连接……从一个有机体到另一个有机体并不相同”，而且“在出生时，最重要网络的构建在很大程度上是随机的。” 也有研究观察到，具有大约 300 个神经元的线虫（一种蠕虫）的神经网络是一个具有小世界特性的图。 随机图建模已被用作研究人脑神经网络的工具 。

Random graphs in graph theory. 随机图在图理论领域被广泛研究。随机图展示了依赖于由模型定义的随机过程的不同概率行为。随机图模型的定义决定了编码在结果图中的先验知识，可能连接他们到一个自然发生的现象。因此，随机图模型是一个非常有利的工具来分析和建模现实世界的图，比如设计网络，万维网，引文网络等。

3. Methodolgy

3.1 Network Generators

 （未完，待续......）

3.2 Randomly Wired Neural Networks

3.3 Random Graph Models

3.4 Design and Optimization

4. Experiments

4.1 Analysis Experimens

4.2 Comparisons

5. Conclusion