卷积神经网络(CNN)基础知识

卷积神经网络基础知识

卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有局部连接、权值共享等特性的深层前馈神经网络。
卷积神经网络最早主要是用来处理图像信息。在用全连接前馈网络来处理图像时，会存在以下两个问题：

1. 参数太多：如果输人图像大小为100×100×3（即图像高度为100，宽度为100以及RGB 3个颜色通道），在全连接前馈网络中，第一个隐藏层的每个神经元到输入层都有100×100×3=30000个互相独立的连接，每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规模也会急剧增加。这会导致整个神经网络的训练效率非常低，也很容易出现过拟合。
2. 局部不变性特征：自然图像中的物体都具有局部不变性特征，比如尺度缩放、平移、旋转等操作不影响其语义信息：而全连接前馈网络很难提取这些局部不变性特征，一般需要进行数据增强来提高性能。卷积神经网络是受生物学上感受野机制的启发而提出的。感受野(Receptive Field）机制主要是指听觉、视觉等神经系统中一些神经元的特性，即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中的神经细胞的输出依赖于视网膜上的光感受器。视网膜上的光感受器受刺激兴奋时，将神经冲动信号传到视觉皮层，但不是所有视觉皮层中的神经元都会接受这些信号，一个神经元的感受野是指视网膜上的特定区域，只有这个区城内的刺激才能够激活该神经元。

目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络。卷积神经网络有三个结构上的特性：局部连接、权重共享以及汇聚。这些特性使得卷积神经网络具有一定程度上的平移缩放和旋转不变性。和前馈神经网络相比，卷积神经网络的参数更少。
卷积神经网络主要使用在图像和视频分析的各种任务（比如图像分类、人脸识别、物体识别、图像分割等）上，其准确率一般也远远超出了其他的神经网络模型．近年来卷积神经网络也广泛地应用到自然语言处理、推荐系统等领域。

卷积与互相关

卷积

卷积（Convolution），是分析数学中一种重要的运算。在信号处理或者图像处理中，经常使用一维卷积或二维卷积

一维卷积

一维卷积经常用在信号处理中，用于计算信号的延迟累积，假设一个信号发生器每个时刻t产生一个信号$x_t$，其信息的衰减率为${\omega }_k$。即在$K-1$个时间步长后，信息为原来的$\omega$倍。假设${\omega }_1=1,{\omega }_2=1/2,{\omega }_3=1/4$，那么在时到t收到的信号，为当前时刻产生的信息和以前时刻延迟信息的叠加，
$$\begin{array}{l}{\mathrm{y}}_{\mathrm{t}}=1\times x_t+\frac{1}{2}\times x_{t-1}+\frac{1}{4}\times x_{t-2}\\ ={\omega }_1\times x_t+{\omega }_2\times x_{t-1}+{\omega }_3\times x_{t-2}\\ =\sum _{k=1}^3{\omega }_k{x}_{t-k+1}\end{array}$$
我们把${\omega }_1,{\omega }_2,...$称为滤波器或卷积核。假设滤波器的长度为$K$，它和一个信号序列$x_1,x_2...$的卷积为:
$$y_t=\sum _{k=1}^K{\omega }_k{x}_{t-k+1}$$
为了简单起见，假设卷积的输出$y_t$的下标$t$从$K$开始。
信号序列$x$和滤波器$\omega$卷积定义为:
$$\mathbf{y}=\mathbf{w}\ast \mathbf{x}$$
其中$\ast$表示卷积运算。一般情况下滤波器的长度K远小于信号序列x的长度。
我们可以设计不同的滤波器来提取信号序列的不同特征。比如，当令滤波器$\omega =[1/K,\dots ,1/K]$时，卷积相当于信号序列的简单移动平均（窗口大小为$K$）；当令滤波器$\omega =[1,-2,1]$时，可近似对信号序列的二阶微分，即
$$x^{\prime \prime }(t)=x(t+1)+x(t-1)-2x(t)$$
图1,给出了两个滤波器的一维卷积示例。可以看出，两个滤波器分别提取了输入序列的不同特征。滤波器$\omega =[1/3,1/3,1/3]$可以检测信号序列中的低频信息，而滤波器$\omega =[1,-2,1]$可以检测信号序列中的高频信息。(这里的高频和低频是指信号变化的强烈程度。)

(a)滤波器[1/3,1/3,1/3]                                        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~                                        (b) 滤波器[1,-2,1]
图 1 一维卷积示例(下层为输入信号序列，上层为卷积结果，边上的数字为滤波器的权重)

二维卷积

卷积也经常用在图像处理中。因为图像为一个二维结构，所以需要将一维卷积进行扩展。给定一个图像$X\in R^{M\times N}$和一个滤波器$\omega \in {\mathbb{R}}^{U\times V}$，一般$U\ll M，V\ll N$，其卷积为:
$${\mathrm{y}}_{ij}=\sum _{u=1}^U\sum _{v=1}^V{\omega }_{uv}{x_{i-u+1}}_{,j-v+1}$$
为了简单起见，假设卷积的输出$y_{ij}$的下标$(i，j)$从$(U，V)$开始。
输入信息$X$和滤波器$W$的二维卷积定义为:
$$Y=W\ast X$$
其中$\ast$表示卷积运算。
给出二维卷积示例：
假设卷积核$\mathbf{h}$大小为$3\times 3$，待处理矩阵$\mathbf{x}$为$5\times 5$：
$$\mathbf{h}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& -1\end{array}\right]$$
$$\mathbf{x}=\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ -1& 0& -3& 0& 1\\ 2& 1& 1& -1& 0\\ 0& -1& 1& 2& 1\\ 1& 2& 1& 1& 1\end{array}\right]$$

1. 将卷积核翻转$180°$
2. 将翻转后的卷积核中心分别对准$X(2，2)$，$X(2，3)$，$X(2，4)$，$X(3，2)$，$X(3，3)$，$X(3，4)$，$X(4，2)$，$X(4，3)$，$X(4，4)$，然后对应元素相乘后相加。

例如，输出矩阵第一个值为：
$$1\times (-1)+1\times 0+1\times 0+(-1)\times 0+0\times 0+(-3)\times 0+2\times 0+1\times 0+1\times 1=0$$

图 2 二维卷积示例

互相关

在机器学习和图像处理领城，卷积的主要功能是在一个图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转。在具体实现上：一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销，互相关(Cross-Correlation）是一衡量两个序列相关性的函数，通常是用滑动窗口的点积计算来实现．给定一个图像$X\in R^{M\times N}$和一个滤波器$\omega \in {\mathbb{R}}^{U\times V}$,它们的互相关为:
$${\mathrm{y}}_{ij}=\sum _{u=1}^U\sum _{v=1}^V{\omega }_{uv}{x_{i+u-1}}_{,j+v-1}$$
上式可以表述为：
$$\begin{array}{c}Y=W\otimes X\\ =rot180(W)\ast X\end{array}$$
其中$⨂$表示互相关运算，$rot180(\cdot )$表示旋转${180}^{\circ }$，$Y\in {\mathbb{R}}^{M-U+1,N-V+1}$为输出矩阵。
给出二维互相关示例：
假设卷积核$\mathbf{h}$大小为$3\times 3$，待处理矩阵$\mathbf{x}$为$5\times 5$：
$$\mathbf{h}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\\ 0& 0& -1\end{array}\right]$$
$$\mathbf{x}=\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ -1& 0& -3& 0& 1\\ 2& 1& 1& -1& 0\\ 0& -1& 1& 2& 1\\ 1& 2& 1& 1& 1\end{array}\right]$$
将翻转后的卷积核中心分别对准$X(2，2)$，$X(2，3)$，$X(2，4)$，$X(3，2)$，$X(3，3)$，$X(3，4)$，$X(4，2)$，$X(4，3)$，$X(4，4)$，然后对应元素相乘后相加。
例如，输出矩阵第一个值为：
$$1\times 1+1\times 0+1\times 0+(-1)\times 0+0\times 0+(-3)\times 0+2\times 0+1\times 0+1\times (-1)=0$$

图 3 二维互相关示例

在神经网络中使用卷积是为了进行特征提取，卷积核是否进行翻转和器特征提取的能力无关，特别是当卷积核是可进行学习的超参数，卷积和互相关在能力上是等价的。因此为了实现上的方便起见，使用互相关来代替卷积。事实上，很多深度学习工具中的卷积操作其实都是互相关操作。

填充与步幅

在卷积的标准定义基础上，还可以引入卷积核的零填充和滑动步长来增加卷积的多样性，可以更灵活的地进行特征提取。

填充

填充（padding）是指在输入高和宽的两侧填充元素(通常是0元素)。一般来说，假设输入形状是$n_{\mathrm{h}}\times n_w$，卷积核窗口形状是$k_{\mathrm{h}}\times k_w$，那么数出形状将会是${(n}_{\mathrm{h}}-k_{\mathrm{h}}+1)\times {(n}_w-k_w+1)$。一般来说，如果在高的两侧一共填充$p_{\mathrm{h}}$行，在宽的两侧一共填充p_w列，那么输出的形状将会是${(n}_{\mathrm{h}}-k_{\mathrm{h}}+p_{\mathrm{h}}+1)\times {(n}_w-k_w+p_w+1)$，也就是说，输出的高和宽会分别会增加$p_{\mathrm{h}}$和$p_w$。
给出填充后二维互相关运算示例：假设卷积核$\mathbf{h}$大小为$2\times 2$，待处理矩阵$\mathbf{x}$为$3\times 3$：
$$\mathrm{h}=\left[\begin{array}{cc}0& 1\\ 2& 3\end{array}\right]$$
$$\mathrm{x}=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\\ 6& 7& 8\end{array}\right]$$
在原输入高和宽的两侧分别添加了值为$0$的元素，使得输入高和宽从$3$变成了$5$，并导致输出高和宽由$2$增加到$4$。将卷积核置于填充后的矩阵中，然后对应元素相乘后相加。
例如，输出矩阵第一个值为：
$$0\times 0+0\times 1+0\times 2+0\times 3=0$$

图 4 在输入的高和宽两侧分别填充了0元素的二维互相关计算

在很多情况下，我们会设置$p_{\mathrm{h}}=k_{\mathrm{h}}-1$和$p_w=k_w-1$来使输入和输出具有相同的高和宽。这样会方便在构造网络时推测每个层的输出形状。假设这里$k_{\mathrm{h}}$是奇数，我们会在高的两侧分别填充$p_{\mathrm{h}}/2$行。如果$k_{\mathrm{h}}$是偶数，一种可能是在输入的顶端一侧填充$p_{\mathrm{h}}/2$行，而在底端一侧填充$p_{\mathrm{h}}/2$行。在宽的两侧填充同理。

步幅

二维互相关运算。卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。我们将每次滑动的行数和列数称为步幅（stride）。
目前我们看到的例子里，在高和宽两个方向上步幅均为$1$。我们也可以使用更大步幅。高和宽步幅为$3$的二维互相关运算。
给出填充后并使用新的步幅的二维互相关运算示例：假设卷积核$\mathbf{h}$大小为$2\times 2$，待处理矩阵$\mathbf{x}$为$3\times 3$：
$$\mathrm{h}=\left[\begin{array}{cc}0& 1\\ 2& 3\end{array}\right]$$
$$\mathrm{x}=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\\ 6& 7& 8\end{array}\right]$$
在原输入高和宽的两侧分别添加了值为$0$的元素，使得输入高和宽从$3$变成了$5$，设置高和宽步幅为$3$，并导致输出高和宽由$4$减少到$2$。将卷积核置于填充后的矩阵中，然后对应元素相乘后相加。
例如，输出矩阵第一个值为：
$$0\times 0+0\times 1+0\times 2+0\times 3=0$$

图 5 在输入的高和宽两侧分别填充了0元素并且长和宽步幅均为3的二维互相关计算

可以看到，输出第一列第二个元素时，卷积窗口向下滑动了$3$行，而在输出第一行第二个元素时卷积窗口向右滑动了$3$列。一般来说，当高的步幅为${\mathrm{s}}_{\mathrm{h}}$，宽的步幅为$s_w$，输出的形状为${[(n}_{\mathrm{h}}-k_{\mathrm{h}}+p_{\mathrm{h}}+{\mathrm{s}}_{\mathrm{h}})/{\mathrm{s}}_{\mathrm{h}}]\times [(nw-kw+pw+sw)/sw]$。
如果设置$p_{\mathrm{h}}=k_{\mathrm{h}}-1$和$p_w=k_w-1$，那么输出的形状为将会简化为${[(n}_{\mathrm{h}}+{\mathrm{s}}_{\mathrm{h}}-1)/{\mathrm{s}}_{\mathrm{h}}]\times [(nw+sw-1)/sw]$。更进一步，如果输入的高和宽分别能被高和宽上的步幅整除，那么输出形状将为${(n}_{\mathrm{h}}/{\mathrm{s}}_{\mathrm{h}})\times {(n}_w/s_w)$。

卷积神经网络结构和原理详解（见下节）

卷积神经网络中的卷积层、池化层、激活函数层和批处理等具体知识点（见下节）