[论文极简笔记] Efficient Neural Architecture Search via Parameter Sharing（Arxiv 1802）

ENAS是对NAS的改进。NAS存在的问题是它的计算瓶颈，因为NAS是每次将一个子网络训练到收敛，之后得到相应的reward，再将这个reward反馈给RNN
controller。但是在下一轮训练子网络时，是从头开始训练，而上一轮的子网络的训练结果并没有利用起来。

当我们把上图中所有 Layer 连成一条直线的模型改成右边交叉连线的模型，显然两者是不同的 Graph，而前一个导出模型权重的 checkpoint 是无法导入到后一个模型中的。但直观上看这几个节点位置本没有变，如果输入和输出的 Tensor 的 shape 不变，这些节点的权重个数是一样的，也就是说左边 Node0、Node1、Node2、Node3 的权重是可以完全复制到右边对应的节点的。