深度学习（三）~卷积神经网络

卷积神经网络

1. 卷积神经网络简介

卷积神经网络是一种深层前馈神经网络，比全连接前馈网络参数更少
特点：1.局部连接 2.权值共享 3.汇聚
这些特点使得卷积神经网络具有一定程度上的平移、缩放和旋转不变性

• CNN在训练时，越往输入权值越小，越往输出权值越多，呈现出一个倒三角的形态，较好的避免了BP神经网络中反向传播的时候梯度损失得太快。

2. 卷积方式

假设卷积层的输入神经元个数为M,卷积大小为K,步长为S,在输入两端各填补P个0,那么该卷积层的神经元数量为(M-K+2P)/S+1

常用卷积有三类：
(1) 窄卷积： 步长S=1,两端不补零P=0,卷积后输出长度为M-K+1
(2) 宽卷积： 步长S=1,两端补零P=K-1,卷积后输出长度为M+K-1
(3) 等宽卷积： 步长S=1,两端补零P=(K-1)/2,卷积后输出长度为M
(4) 其他卷积方式：

• 转置卷积
• 空洞卷积

3. 卷积神经网络的层级结构

【卷积神经网络的层级结构】
(1) 数据输入层
(2) 卷积层： 每个神经元看做一个滤波器(filter)，每个滤波器只关注一个特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合　　
(3) ReLU激励层： 非线性映射
(4) 池化层： 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量如压缩图像，减小过拟合。常用Max Pooling和Mean Pooling
(5) 全连接层： 对空间排列的特征化成一维的向量

4. 参数学习

输入Χ∈RM×N×D，输出У∈RM‘×N’×P，每一个输出特征映射都需要D个卷积核以及一个偏置。(有D个X输入，需要D个卷积核与D个X求点积+一个偏置b,若输出需要P个切片，则将上述计算重复P次)
假设每个卷积核大小U×V，D个卷积核，则共需要P×D×(U×V)+P个参数

5. 几种典型的卷积神经网络：

(1) LeNet-5

①网络结构

共7层(卷积-池化-卷积-池化-卷积-全连接-输出层<10个径向基函数组成>),接受输入图像32×32=1024，输出对应10个类别的得分

(2) AlexNet

①网络结构

共11层(卷积-池化-卷积-池化-卷积-卷积-卷积-池化-三个全连接<最后一个是softmax输出层>),接受输入图像224×224×3,输出为1000个类别的条件概率

②突破点

a. 使用GPU并行训练
b. 采用ReLU作为激活函数
c. 使用Droput防止过拟合
d. 使用数据增强来提高模型准确率

(3) Inception网络：

最具代表性的改进版本：Inception v3

①突破点

a. 使用两层3×3的卷积核代替5×5的卷积，使用K×1和1×K来代替K×K的卷积
b. 引入标签平滑以及批量归一化等优化方法

(4) 残差网络(ResNet)：

通过给非线性的卷积层增加直连边（也称残差连接）的方式来提高信息的传播效率