CNN层次分析

简介cnn：

典型的深度学习模型就是很深层的神经网络，包含多个隐含层，多隐层的神经网络很难直接使用BP算法进行直接训练，因为反向传播误差时往往会发散，很难收敛

CNN节省训练开销的方式是权共享weight sharing，让一组神经元使用相同的权值

主要用于图像识别领域

卷积（Convolution）特征提取

卷积核（Convolution Kernel），也叫过滤器filter，由对应的权值W和偏置b体现

下图是3x3的卷积核在5x5的图像上做卷积的过程，就是矩阵做点乘之后的和

卷积特征提取的原理

卷积特征提取利用了自然图像的统计平稳性，这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。

当有多个filter时，我们就可以学到多个特征，例如：轮廓、颜色等

多个过滤器filter（卷积核）

例子如下

一张图片有RGB三个颜色通道，则对应的filter过滤器也是三维的，图像经过每个filter做卷积运算后都会得到对应提取特征的图像，途中两个filter:W0和W1,输出的就是两个图像

这里的步长stride为2（一般就取2,3）

在原图上添加zero-padding，它是超参数，主要用于控制输出的大小

同样也是做卷积操作，以下图的一步卷积操作为例：

与w0[:,:,0]卷积：0x(-1)+0x0+0x1+0x1+0x0+1x(-1)+1x0+1x(-1)+2x0=-2

与w0[:,:,1]卷积：2x1+1x(-1)+1x1=2

与w0[:,:,2]卷积：1x(-1)+1x(-1)=-2

最终结果：-2+2+(-2)+1=-1 (1为偏置)

池化

也叫做下采样

Pooling过程

把提取之后的特征看做一个矩阵，并在这个矩阵上划分出几个不重合的区域，

然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练

-下图是使用最大Pooling的方法之后的结果

Pooling的好处

很明显就是减少参数

Pooling就有平移不变性（(translation invariant）

如图feature map是12x12大小的图片，Pooling区域为6x6,所以池化后得到的feature map为2x2,假设白色像素值为1，灰色像素值为0，若采用max pooling之后，左上角窗口值为1

将图像右移一个像素，左上角窗口值仍然为1

将图像缩放之后，左上角窗口值仍然为1

Pooling的方法中average方法对背景保留更好，max对纹理提取更好

深度学习可以进行多次卷积、池化操作

激活层

在每次卷积操作之后一般都会经过一个非线性层，也是激活层

现在一般选择是ReLu,层次越深，相对于其他的函数效果较好，还有Sigmod,tanh函数等

sigmod和tanh都存在饱和的问题，如上图所示，当x轴上的值较大时，对应的梯度几乎为0，若是利用BP反向传播算法，可能造成梯度消失的情况，也就学不到东西了

将多次卷积和池化后的图像展开进行全连接，如下图所示。

接下来就可以通过BP反向传播进行训练了

所以总结起来，结构可以是这样的

2018-04-09 第二周