神经网络的参数设计

现在神经网络基本一上就是深度神经网路，而深度神经网路就像个黑箱一样，对于什么样的场景该设计什么样的结构还没有理论支持，都是全凭经验，所以本文也仅限于经验之谈。

一、论文：A practical theory for designing very deep convolutional neural networks

论文大意：虽然人们的直觉是网络越深越好，但是随意地增加深度可能会适得其反。论文将卷积网络分为分类器和特征提取两个层次。

分类器层：

    分类层通常是两层全连接加dropout，但是这样的数据量不够的时候容易过拟合。我们发现将特征映射进行下采样，然后过两层卷积，再做maxpool，最后再加上dropout会更好。

特征层：

    卷积层的感受域应该随着网络深度的增加而增加，当感受域达到图片大小时，特征层不再加深。