用C语言构建一个数字识别深度神经网络

接上一篇: 用C语言构建一个数字识别卷积神经网络

1. 深度神经网络

　　按照深度学习的理论，随着神经网络层数的增加，网络拟合复杂问题的能力也会增强，对事物特征的挖掘也会更加深入．这里尝试构建一个５层深度的神经网络，包括两个卷积层和两个池化层, 其中输出层为全连接层,如下图示:

程序中对应配置说明:
conv_layer层: 为3x3的卷积层, 8个卷积核, 采用valid_padding(不填充),移动扫描步长为1.
maxpool_layer层: 采用2x2最大池化，步长为2.
convA_layer层: 为3x3的卷积层, 32个卷积核, 采用valid_padding(不填充),移动扫描步长为1.
maxpoolA_layer层: 采用2x2最大池化，步长为2.

输出层output_layer: 一共10个神经元，分别对应0~9数字的可能性，与展平后的maxpoolA_layer层输出进行全连接．
卷积层的激活函数都采用func_ReLU,这样可以很大程度上抑制神经网络的梯度爆炸和消失问题．

2. 实验

 　　取2万条训练样本进行训练，训练后再进行测试，其准确率可超过96%．

3.问题和心得:

3.1 梯度爆炸和梯度消失
　　在运行本文这个训练程序的时候，你可能会不幸踩到梯度的爆雷，提示"Gradients Explosion!? err is nan or inf!". 不过不要紧, 再来运行一遍嘛．
　　梯度爆炸(或消失)的根本原因是反向传播的链式传导法则，它导致了梯度在反向层层传播时会对后级梯度进行放大或缩小．如果某个节点上的权重梯度不幸处在一个连续放大(或连续缩小)的传导路径上，那么这个权重更新时就会被放大(或缩小)到极大(或极小)的数值从而导致溢出(或变成0)．在这里表现为输出损失值err变成NaN, 或err长时间保持基本无变化．

3.2 深度神经网络模型
　　深度神经网络并不是简单的堆叠网络层数，而是要求对每层的输入/输出/结构/参数量等做合理的配置．不仅要保证层与层之间数据流的顺畅，还要保证所需特征信息的充分提取和传导．举个列子，如果将上面第一层和第二层卷积层的核心数量都改成16, 那么其总体效果可能还不如一个三层网络．如此看来, 一些经典的神经网络模型(如LeNet-5等)都值得我们好好学习．

3.3 学习率
　　由于我们这里采用了SGD梯度下降学习法，因此学习曲线会比较曲折, 相对batch-GD方法应该取更小的学习率，这里可以取0.0025(或0.005). 对于大的学习率，踩到梯度雷的概率也会更大．往往大的学习率会造成输出损失值大幅度跳动，不过令人疑惑的是其最终结果可能会更好．另外，对于层数多的神经网络也要相应选取相对小的学习率．