【神经网络与深度学习】卷积神经网络 ① 卷积 ② 互相关 ③ 卷积层和池化层 ④ 四种典型的卷积网络 ⑤ 转置卷积 ⑥ 空洞卷积 ⑦ 微步卷积

---

一、全连接前馈神经网络的缺陷

（1）参数太多：

输入层输入过多，每个连接都对应一个权重参数，隐藏层神经元数量的增多，参数的规模也会急剧增加，整个神经网络的训练效率非常低，也很容易出现过拟合

（2）局部不变性特征

很难提取这些局部不变性特征,一般需要进行数据增强来提高性能

---

二、卷积神经网络

由于全连接前馈神经网络的一些缺陷，卷积神经网络孕育而生。

首先，我们先了解下，什么是卷积

① 卷积（Convolution）

卷积，也叫褶积，是分析数学中一种重要的运算

（1）一维卷积

一维卷积经常用在信号处理中，用于计算信号的延迟累积．

名词	对应字母
滤波器或卷积核	w
信号序列
卷积核长度	K（大写）

一维卷积的定义

其中∗表示卷积运算．一般情况下卷积核的长度 远小于信号序列的长度．

【例子】

这种卷积核为 = [1/3, 1/3, 1/3] ，此时的卷积相当于信号序列的简单移动平均【步长为1】
以检测信号序列中的低频信息

这种就是一般的卷积，其卷积核为 = [1, −2, 1]
检测信号序列中的高频信息

（2）二维卷积

卷积经常用在图像处理中．因为图像为一个二维结构，所以需要将一维卷积进行扩展

二维卷积的定义

【注意】
二维卷积运算不是简单的平移相加操作，而是反褶，平移，相乘，积分。
仔细看下图，3×3的卷积核进行了翻转，其翻转角度应该是180度

【记忆小技巧】
开始的时候，是从上往下，从左往右读
卷积以后，是从下往上，从右往左读，变成一个新3×3

一幅图像在经过卷积操作后得到结果称为特征映射

• 最上面的滤波器是常用的高斯滤波器，,可以用来对图像进行平滑去噪；
• 中间和最下面的滤波器可以用来提取边缘特征

（3）卷积的变式

引入卷积核的滑动步长和零填充来增加卷积的多样性，可以更灵活地进行特征抽取

• 步长：卷积核在滑动时的时间间隔（移动的格子数，默认为1，支持自定义） 【步长可以小于1 - - 微步卷积 】
• 零填充：输入向量两端进行补零
  

（4）卷积计算公式

【 非常重要】：卷积计算公式：

（5）宽卷积，窄卷积和等宽卷积

窄卷积：输出长度<输入长度

② 互相关（Cross-Correlation）

• 互相关衡量两个序列相关性的函数
• 互相关和卷积的区别仅仅在于卷积核是否进行翻转．因此互相关也可以称为不翻转卷积
  • 【翻转】：从上到下，从左到右俩个维度的颠倒次序（180度旋转）
• 在具体实现上，一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销

其中⊗表示互相关运算，rot180(⋅)表示旋转180度，
∈ℝ−+1,−+1 为输出矩阵．

【重申】
⊗表示互相关运算
∗ 表示卷积运算

③ 用卷积来代替全连接

卷积层两个很重要特性：
①局部连接：卷积层和前一层之间的连接数大大减少
②权重共享：同颜色连接上的权重是相同的

④ 卷积层和池化层

池化层出现的原因：

1、卷积层虽然可以显著减少网络中连接的数量，但特征映射组中的神经元个数并没有显著减少．如果后面接一个分类器，分类器的输入维数依然很高，很容易出现过拟合
2、为了解决这个问题，可以在卷积层之后加上一个池化层，从而降低特征维数，避免过拟合．

通俗语言解释卷积层和池化层：

• 卷积层就是经过卷积运算得到输出结果（准确来讲应该是互相关运算）
• 池化层就是在一块区域里面找到最大的值作为输出结果

池化函数一般有最大池化和平均池化
下图中给出的是最大池化：

【注意】
图片中的汇聚层等同于池化层，只是称呼有所不同而已

趋势：

---

三、典型卷积神经网络【无详细介绍】

① LeNet-5

基于LeNet-5的手写数字识别系统在 20世纪90 年代被美国很
多银行使用，用来识别支票上面的手写数字

② AlexNet

AlexNe是第一个现代深度卷积网络模型，其首次使用了很多现代深度卷积网络的技术方法

③ Inception网络

• 在Inception 网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception 模块．
• Inception网络是由有多个Inception模块和少量的汇聚层堆叠而成
  

④ 残差网络

残差网络：通过给非线性的卷积层增加直连边的方式来提高信息的传播效率．

残差网络就是将很多个残差单元串联起来构成的一个非常深的网络

---

四、其他卷积方式

① 转置卷积

• 转置卷积也称为反卷积
• 实现：低维特征映射到高维特征的卷积操作
  

② 微步卷积

微步卷积：步长 < 1 的转置卷积

③ 空洞卷积

空洞卷积通过给卷积核插入“空洞”来变相地增加其大小

转置卷积和空洞卷积的动态图链接【直观】

https://nndl.github.io/v/cnn-conv-more