《Weight Agnostic Neural Networks》（权重无关网络）论文简介

https://weightagnostic.github.io/
https://github.com/google/brain-tokyo-workshop/tree/master/WANNRelease

现在大部分关于神经网络性能的研究关注于网络参数的优化上，即如何调参。这篇论文给我们提供了一个不一样的思路：设计网络的最优架构。

论文的想法启发于生物学：很多生物在刚出生时（没有经过大量的练习），便具有某些特定的能力，如逃避捕食者等。因此，对于某些特定的功能，设定特定的神经网络架构即可解决。

论文通过给整个网络部署一个相同的权重，来消除权重对网络性能的影响。然后再改变权重的值，观察该网络架构在不同权重下所能取得的最好结果。

完整的论文算法步骤如下图所示: 1) 创建多个最小网络；2）在最小网络上分配不同的权重；3）根据网络性能和复杂度对最小网络进行排序；4）在取得最好结果的最小网络进行迭代（包括插入节点、增加链接和改变激活函数等）。重复步骤2）到4）直到迭代没有性能的提升时停止。