卷积神经网络(CNN)原理与理解

定义：

卷积神经网络（Convolutional Neural Networks， CNN） 是一种前馈神经网
络， 其特点是每层的神经元节点只响应前一层局部区域范围内的神经元（全连接
网络中每个神经元节点响应前一层的全部节点）。 一个深度卷积神经网络模型通
常由若干卷积层叠加若干全连接层组成， 中间也包含各种非线性操作以及池化操
作。

CNN的工作原理（CNN为何有效）

CNN利用卷积、池化和非线性激活函数三者的叠加操作来进行特征提取（或者说将原始数据映射到隐层特征空间），最后利用全连接层来对提取到的特征完成分类。

卷积核特性与作用

• 卷积
  卷积就是对输入数据和滤波器进行内积（对应元素相乘之和）。
• 工作方式
  卷积核也叫滤波器（filter）是带着一组固定权重的神经元，它对局部输入数据进行卷积计算（即特征提取）。每计算完一个数据窗口内的局部数据后，数据窗口不断平移滑动，直到计算完所有数据。卷积核的这种滑窗移动方式，是模拟了人类视觉感知的原理，即人眼一般看物体是先看到一部分，而后随着视线的移动，观察到物体的全貌。这种通过窗口滑动提取特征的方式，也就是CNN局部感知的机制。
• 特性
  1. 参数共享：卷积核在通过窗口滑动提取特征时，卷积核的参数值不变，即图像的所有位置都用一组卷积核的参数来进行特征提取。
  2. 稀疏交互：卷积神经网络中， 卷积核尺度远小于输入的维度， 这样每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重（即产生交互） ， 我们称这种特性为稀疏交互。

池化

• 常见类型
  池化常见的有以下两种：
  平均池化：计算图像区域的平均值作为该区域池化后的值。
  最大池化：选图像区域的最大值作为该区域池化后的值。
• 作用

1. 数据降维； 2. 防止过拟合

激活函数

• 定义：
  上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。
• 作用
  增加模型的非线性拟合能力。如果不用非线性的激活函数，特征在经过多层卷积操作之后得到的输出，仍然只是输入特征的线性组合。故需要引入非线性的激活函数来使深层神经网络表达能力更加强大。
• 常见的激活函数（需要掌握各类激活函数的定义、优缺点）
  relu、tanh、sigmoid

全连接

• 定义：
  对输入作线性变换（）。
• 作用
  一般全连接层放在CNN的后面几层，它们对前面得到的特征进行线性加权，然后进行分类。

扩展问题

CNN是一种图像分类的方法，那传统方法有没有可以实现图像分类的？