深度学习 卷积神经网络原理

深度学习 卷积神经网络原理

  • 一、前言
  • 二、全连接层的局限性
  • 三、卷积层
    • 3.1 如何进行卷积运算?
    • 3.2 偏置
    • 3.3 填充
    • 3.4 步长
    • 3.5 卷积运算是如何保留图片特征的?
    • 3.6 三维卷积
    • 3.7 多种特征提取
  • 四、池化层
  • 五、全连接层
  • 六、参考资料

一、前言

本文分析了全连接层存在的局限性,然后引出卷积的思想方法,介绍了如何进行卷积、池化计算,提取特征。学习了卷积神经网络,就可以用神经网络高效地进行图像处理,比如说用于人脸识别、图片清晰化、风格迁移等。

卷积神经网络(Convolutional Neural Networks,CNN)主要包含以下结构:

  • 卷积层( Conv) – 用于保留图片特征
  • 池化层(POOL) – 用于数据降维,减少输入维度,避免过拟合
  • 全连接层(FC) – 根据不同任务输出我们想要的结果

二、全连接层的局限性

在之前介绍的神经网络中,相邻层的所有神经元之间都有连接,这称为全
连接(fully-connected)。全连接层(Affine层)存在局限性,就拿图片识别的例子来说,存在一些问题。

1.1 参数过多的问题
如果输入是一张1000*1000像素的彩色图片,因为有RGB三个通道,那么就有 3 × 1 0 6 3×10^6 3×106 个输入变量,假设隐藏层有1000个单元,那么权重参数将达到 1000 × 3 × 1 0 6 1000×3×10^6 1000×3×106,即30亿个,这是一个庞大的数字,非常容易导致神经网络过拟合、并且需要巨大的计算机内存和计算资源。

1.2 丢失了空间特征信息
比如说,图片中的一个物品,其轮廓是连续的,而且平移、缩放、旋转等操作不影响其语义信息。图像通常含有宽、高、通道方向上的3维形状,而全连接层把这些输入全部作为一维信息处理,会忽视这种空间特征。

三、卷积层

卷积层(Convolutional layers)进行的处理就是卷积运算,相当于图像处理中的“滤波器运算”。

3.1 如何进行卷积运算?

我们来看一个具体的例子:

深度学习 卷积神经网络原理_第1张图片
输入数据经过滤波器转换,得到了另一个矩阵。滤波器在一些文献中也叫“核”、“卷积核”。

下面是步长为1的卷积运算过程:
深度学习 卷积神经网络原理_第2张图片
15=1×2+2×0+3×1+0×0+1×1+2×2+3×1+0×0+1×1

每次移动一个像素,同理:
深度学习 卷积神经网络原理_第3张图片
下面这张动态图更加形象,这也是步长为1的卷积运算(右移和下移都是1个像素):
深度学习 卷积神经网络原理_第4张图片
如果步长为n,那么右移或下移时移动n个像素。

3.2 偏置

下面这张图很形象地说明了如何添加偏置,不再多说:
深度学习 卷积神经网络原理_第5张图片

3.3 填充

上面的图中,每次进行卷积运算都会导致输出矩阵变小,经过多次卷积运算后可能导致矩阵大小为1×1,无法再进行卷积计算。为了避免这种情况,我们可以对输入矩阵进行填充(padding),如下图,输入大小为4×4,进行幅度为1像素的0填充,再卷积,输出大小保持不变。
深度学习 卷积神经网络原理_第6张图片

3.4 步长

滤波器每次卷积移动的长度称为步长(stride)。

假设输入大小为(H, W),填充为P,滤波器大小为(FH, FW),步幅为S,输出大小为(OH, OW),那么:
O H = H + 2 P − F H S + 1 OH=\frac{H+2P-FH}{S}+1 OH=SH+2PFH+1 O W = W + 2 P − F W S + 1 OW=\frac{W+2P-FW}{S}+1 OW=SW+2PFW+1

3.5 卷积运算是如何保留图片特征的?

1981 年的诺贝尔医学奖,颁发给了 David Hubel(出生于加拿大的美国神经生物学家) 和TorstenWiesel,以及 Roger Sperry。前两位的主要贡献,是“发现了视觉系统的信息处理”,可视皮层是分级的。

人类的视觉原理如下:从原始信号摄入开始(瞳孔摄入像素 Pixels),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球)。下面是人脑进行人脸识别的一个示例:
深度学习 卷积神经网络原理_第7张图片

卷积运算可以通过设置不同矩阵的滤波器,将边缘特征保留。

如下图(Excel倾情制作 ),经过特殊矩阵的滤波器卷积后,垂直边缘特征被保留了下来:
深度学习 卷积神经网络原理_第8张图片

3.6 三维卷积

RGB彩色图片有三个通道,你可以把它想象成三张图片的堆叠。那么我们的过滤器也要有三层,对应红绿蓝三个通道。

有多个通道时,分别按通道对输入数据进行卷积运算,并将结果相加,从而得到输出。如下图所示:
深度学习 卷积神经网络原理_第9张图片
为什么是相加呢?我们可以想象一下,把这个图像矩阵数据看成是一个4×4×3的大立方体,而过滤器是一个3×3×3的小立体,小立方体在大立方体中,移动一下就做一次卷积运算,把三维空间里对应的值相乘再相加。

3.7 多种特征提取

上面用一个卷积核提取的是某一类特征,比如说垂直边缘,现在我们还想提取水平边缘等多种特征(可能几百个不同特征),怎么处理呢?
添加不同特征算子的过滤器就行了,如下图所示:
深度学习 卷积神经网络原理_第10张图片
这里有2个3通道的滤波器,得到了2个4×4的矩阵。接下来可以加上偏置然后用Relu激活函数进行计算。

四、池化层

池化层(Pooling layers)可以极大地降低数据维度。其过程如下:
深度学习 卷积神经网络原理_第11张图片
上图中,原始图片为20×20,采样窗口为10×10,步长为10,最终将其采样成为一个2×2大小的特征图。(一般而言,步长与窗口大小一致)

下图展示的是Max池化过程,即在目标区域内选取最大值作为该窗口输出:
深度学习 卷积神经网络原理_第12张图片
除了Max池化,还有Average池化等。Average池化则是计算目标区域的平均值。在图像识别领域,主要使用Max池化。

五、全连接层

假设有2个滤波器,图片经过卷积和池化处理后,得到2个2×2的矩阵。我们将其展开成长度为8的一维数组,作为全连接层的输入数据,接下来我们激活函数是使用sigmoid还是softmax,取决于我们的任务类型,是想识图片上有没有猫,还是想识别种不同对象中的一种。

六、参考资料

《AndrewNG深度学习视频》
《AndrewNG深度学习笔记V5.61—黄海广》
《深度学习入门:基于Python的理论与实现》
《卷积神经网络 – CNN》

你可能感兴趣的:(【机器学习】,#,深度学习,cnn,深度学习,卷积神经网络,卷积,池化)