卷积神经网络的基本概念和重要思想

一、卷积神经网络与传统神经网络的学习原理对比

传统神经网络：有监督的机器学习，输入为特征。其训练过程为：

输入（原始图像）→人工进行特征提取→神经网络进行分类→输出

卷积神经网络：无监督特征学习，输入为最原始的图像。其训练过程为：

输入（原始图像）→特征提取和分类都由神经网络进行→输出

传统神经网络依靠人工设计特征，局限于研究人员的经验和特征表达能力，无法应对各种不变性。传统神经网路与SVM类似，角色只是一个分类器。

二、卷积神经网络的基本概念

1.多通道卷积：输出特征图的每一个通道，由输入图的所有通道和相同数量的卷积核对应卷积计算并求和。

输入特征图：通道数x高度x宽度→；输出特征图：

 卷积核数量：

2.填充：给卷积前的图像边界添加额外的行/列

作用：①控制卷积后图像分辨率，方便计算特征图尺寸的变化；②弥补边界信息“丢失”。

3.步长：卷积核在图像上移动的步子

影响：①步长太小，重复计算多，计算量大，训练效率降低；②步长太大，会造成信息遗漏，无法有效提取数据背后的特征。

4.卷积结构单元——输入输出大小计算

记图像的输入尺寸为，填充为，卷积核大小为，步长为，输出尺寸为，计算公式如下：

5.池化：对图像进行下采样，降低图像分辨率（最大值池化，均值池化）

作用：①使特征图变小，简化网络计算复杂度；②压缩特征进行逐级抽象。

6.感受野：某一层一个元素对用输入层的一个映射区域大小。感受野越大，得到的全局信息越多。

 三、卷积神经网路的重要思想

1.局部连接：传统神经网络采用全连接的方式，而卷积神经网络采用局部连接的方式，为什么进行局部连接？

①更好地利用图像中的结构信息，越相近的像素相互影响越大；

②局部与整体的自相似性，局部的可辨识性（例如一根长满叶子的树枝，要识别出是什么树，我们只需要识别到一片树叶，而不需要把图中的树叶全部识别一边就能确定是什么树）

再举个例子，我们的输入是1000x1000的图像，神经网络只有一个隐藏层：

全连接情况下：隐藏层需要1000x1000个神经元，这样，总参数量为1000x1000x1000x1000;

局部连接情况下：假如隐藏层的每个神经元之和输入图像中10x10的局部区域相连接，且卷积核移动步长为10，则隐藏层只需要10x10个神经元，这样，总参数量为1000x1000x10x10，降低了4个数量级。