[论文素材]Background----CNN

CNN是什么

卷积神经网络（Convolutional Neural Network, CNN）是最具有代表性的深度算法之一，受到人类视觉神经系统的启发,通过卷积计算提取特征的一种前馈神经网络, 具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类[1]

CNN算法详解

CNN是将 n*m 的2D输入，通过重复局部连接和绑定权重后结某种形式的池化，产生平移不变的特征，最后降维成一维向量经过全联接和激活函数处理得到结果。

CNN模型结构包括：

1. 卷积层 —— 提取特征
2. 全联接层 —— 输出结果
3. pooling层 —— 降维，防止过拟合
   1. 最大池化：能减小卷积层参数误差避免估计均值的偏移，更多的保留纹理信息
   2. 平均池化：能减小邻域大小受限造成的估计值方差，更多的保留图像的背景信息，
4. 激活函数—— 引入非线性

CNN模型训练流程：

1. 输入和卷积和初始化权重进行前向传播得到一个结果a，
2. 判断结果a是否在预期范围内，如果不是则与真实结果相减求差，利用梯度下降进行反向传播
3. 在反向传播时更新权重
4. 反复进行1，2，3，直到得到期望内的a

整体流程：

卷积计算过程：

输入：5*5 （n * m）

卷积核：3*3 （f * f）（红色小字）

convolved feature的大小为3*3  

右边4为Matrix multiplications的和

（Source image: https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53）

CNN优缺点

1. 能够有效的将大数据量的图片降维成小数据量
2. 能够有效的保留图片特征，符合图片处理的原则
3. CNN 最擅长的就是图片的处理
4. 它们比具有相同隐藏单元数量的全连接网络更容易训练并且参数更少

CNN 应用：

1. 图片分类、检索
2. 目标定位检测
3. 目标分割
4. 人脸识别
5. 骨骼识别
6. 美颜相机
7. 安防

[1] Wei Zhang, Kazuyoshi Itoh, Jun Tanida, and Yoshiki Ichioka, "Parallel distributed processing model with local space-invariant interconnections and its optical architecture," Appl. Opt. 29, 4790-4797 (1990)

（未完）