全连接层

一直不是很了解CNN的全连接层，看了几个博客，总结一下，供日后参考。
说道全连接层，就需要提到CNN的两个特征。
1. 稀疏链接

m-1与m层相连时，m层的一个结点只与其中的三个结点相连，没有全部连接。图中完成了m-1到m+1的非线性特征编码。因此下一层的每个结节只提取了局部特征。
2. 权值共享

每个颜色的权重是相同的。两个理由：重复单元能够对特征进行识别，而不考虑它在可视域中的位置。另一方面，权值 共享使得我们能更有效的进行特征抽取，因为它极大的减少了需要学习的自由变量的个数。我们可以理解成，每一个convolution层，都有n个filter，每个filter都是一个特征映射，而且每个filter的神经元共享相同的权重。神经元的个数取决于卷积后图片的大小。如100*100与5*5的filter卷积，会得到96*96个神经元。每一个神经元的接受域是5*5。

回答关于全连接层的神经元个数问题：
一直以为这一层神经元个数是计算出来的~汗ing~~~
原来是手动设置的。用cross-validation去试，并且结合你对模型大小和运行速度的要求找最佳折中。全连接层神经元越多，模型越大，速度越慢，模型拟合能力越高，在训练集上准确率越高，但过拟合风险也越大。反之，全连接层神经元越少，模型越小，速度越快，模型拟合能力越低，在训练集上准确率越低，但训练集与测试集上的差距越小。（参考cs sun
的知乎）

上面关于CNN的特点，完全是学习bill’s blog：http://ibillxia.github.io/