卷积神经网络CNN的学习

卷积的公式解释 

1.关于卷积

s(t)=(x*w)(t)     这里的x是input w是kernel函数  如果传入的x是几维，那么kerne也是几维（不是向量的维度）

为什么卷积在定义时会对w发生翻转

2.k卷积过程

每个kernel就是一个滤波器。当用一个kernel做卷积处理时，其实是用它来识别某种特定曲线。当得到的激活值在某一区域最大时，就得到了激活图（包含这一特定曲线的一些区域合成的图像）。一个kernel作卷积输出的就是一张图。

卷积神经网络的第一层滤波器用来检测低阶特征，比如边角曲线。第二层的输入就是第一层的输出，这一层的滤波器就是用来检验低阶特征的组合的情况。如此累积，从而识别更复杂的特征。

初始时的kernel是随机的，然后经过训练，误差反馈不断修改kernel的权值。

3.polling池化层

对特征图进行缩小。如用filter去取得每块区域的最大值或平均值作为这块区域新的特征。这样做可以减少参数，并且防止和过拟合。

CNN的三个特点：

1.sparse connectivity（后一层的输出只被前一层的几个输出影响）

优点：减少了运算量

2.Parameter sharing

一个filter在对整个图像的不同区域进行操作时的权值都是相同的

因为特征与物体的空间位置无关，即实现旋转、平移、缩放的不变性，这对于在图像识别领域经常出的物体在图像中的位置变化，大小变化，观察角度变化，所造成了识别困难，具有非常好的解决效果。同时，由于权值共享，减少了网络的参数个数，也大提高了网络的学习效率

3。卷积的等变形 equvariance

卷积网络中的更深层次单元的感受域（receptive field）比浅层单元的感受域（receptive field）要大。如果网络包含了像条纹卷积(strided convolution)(图9.12)或是池化(pooing)(图9.3)这样的架构特征，这种效应就会增加。意思就是即使在一个卷积网络中直接连接是非常稀疏的，但是更深的层次可以间接的连接所有或者说是大部分输入图像。

stride and padding(步伐与填充)

步伐就是filer每次移动的宽度

现在让我们看一下填充（padding）。在此之前，想象一个场景：当你把 5 x 5 x 3 的过滤器用在 32 x 32 x 3 的输入上时，会发生什么？输出的大小会是 28 x 28 x 3。注意，这里空间维度减小了。如果我们继续用卷积层，尺寸减小的速度就会超过我们的期望。在网络的早期层中，我们想要尽可能多地保留原始输入内容的信息，这样我们就能提取出那些低层的特征。比如说我们想要应用同样的卷积层，但又想让输出量维持为 32 x 32 x 3 。为做到这点，我们可以对这个层应用大小为 2 的零填充（zero padding）。