主流的DNN网络和一些重要参数学习

1.lenet:
使用了RBF径向基核函数

核函数.png

输入图像是3232，比mnist数据库中的最大字母（2828）还大，原因是：图像较大，希望一些潜在特征，如笔画断续角点等，可以出现在最高层特征检测子视野的中心

lenet_rbf.png

卷积神经网络优点：
卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。然而，显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。卷积神经网络，它避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。
卷积网络较一般神经网络在图像处理方面有如下优点： a）输入图像和网络的拓扑结构能很好的吻合；b）特征提取和模式分类同时进行，并同时在训练中产生；c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。

是由Yann LeCun完成的具有开拓性的卷积神经网络，是大量网络结构的起点。网络给出了卷积网络的基本特性：

1.局部感知。人对外界的认知是从局部到全局的，相邻局部的像素联系较为紧密。每个神经元没必要对全局图像进行感知，只需要对局部进行感知，然后更高层将局部的信息综合起来得到全局的信息。

2.多层卷积。层数越高，学到的特征越全局化。

3.参数共享。每个卷积都是一种提取特征的方式，大大降低了参数的数目。

4.多卷积核。提取多类特征，更为丰富。

5.池化。降低向量维度，并避免过拟合。

特性1自然引出了特性2，特性3自然引出了特性4。

网络用于mnist手写体识别任务，网络结构用 http://ethereon.github.io/netscope/#editor 查看，常见网络：http://ethereon.github.io/netscope/quickstart.html 。down

2 . Alexnet：

2012年，深度学习崛起的元年，Alex Krizhevsky 发表了Alexet，它是比LeNet更深更宽的版本，并以显著优势赢得了ImageNet竞赛。贡献有：
1.使用RELU作为激活单元。
2.使用Dropout选择性忽略单个神经元，避免过拟合。
3.选择最大池化，避免平均池化的平均化效果。
AlexNet是目前应用极为广泛的网络