理论基础

参考文献：
http://blog.csdn.net/lu597203933/article/details/46575779
http://ufldl.stanford.edu/wiki/index.php/%E6%B1%A0%E5%8C%96

|||||

|---

1、卷积：

54fbb2fb43166d22dd3b844e442309f79152d298.png

<1> 提取特征：

如下图所示，展示了一个3*3的卷积核在55的图像上做卷积的过程。每个卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件（激活值越大越符合条件）的部分筛选出来。

6.gif

• 在输出图像中每一个像素是输入图像中一个小区域中像素的其中权值由一个函数定义,这个函数称为卷积核。

---

提取特征单一怎么办？

一种卷积核就是提出图像的一种特征，那么多几个函数（卷积核），抽取不同的特征即可。

1365562217_2880.jpg

<2> 拥有全局观还有局部观：

左边就是全连接网络，每个隐藏神经元与每个像素进行连接。右边就是部分连接网络，每个隐神经元只与一部分区域相连接。

20150620214702689.jpg

2、池化（池化层位于两个卷积层之间）

利用卷积提取的特征去做分类
但是(Imge_width-convolution_width+1)*(Image_height-convolution_height+1) * (卷积核数量 即 特征数量) 的结果太庞大，学习一个拥有超过 3 百万特征输入的分类器十分不便，并且容易出现过拟合 (over-fitting)。

池化综合了（过滤核范围内的）全部邻居的反馈，即通过k个像素的统计特性而不是单个像素来提取特征，自然这种方法能够大大提高神经网络的性能

Pooling_schematic.gif

3、全连接

全连接层，通俗的说就是前面一层的每个单元都与后面一层的相连接
将前面各个层学习到的“分布式特征表示”，映射到样本标记空间，然后利用损失函数来调控学习过程，最后给出对象的分类预测。一般采用Softmax函数作为激活函数。

Softmax函数又称归一化指数函数：

1a43cbf62ea565dbcac409fc16fc97538cb4da7c.jpg

图片.png

Softmax函数把这些分值实施规则化（regularization），也就是说，将这些实分值转换为一系列的概率值（信任度）

由于全连接层的参数冗余（差不多80%），导致该层的参数个数占据整个网络参数的绝大部分。这样一来，稍有不慎，全连接层就容易陷入过拟合的窘境，导致网络的泛化能力难尽人意。

全连接层是简单的将特征映射变成矢量按顺序编排输入到softmax回归中，这种方法破坏了卷积层中提取特征时保留下来的位置信息

---

插个小广告：

一些性能优异的网络模型如ResNet和GoogLeNet等全局均值池化策略（global average pooling，GAP）取代FC来融合学到的深度特征，最后仍用softmax等损失函数作为网络目标函数来指导学习过程。

• GAP:

GAP来源于由现任360公司首席科学家颜水成博士团队发表的论文“网中网（Network In Network，NIN）[10]”。文中提出了用全局均值池化策略（Global Average Pooling，GAP），取代全连接层的想法。

4、梯度下降法

5、softmax做归一化