CNN 卷积神经网络 chap-5 学习笔记

1. FNN与CNN有哪些区别

在 FNN 部分所推导的正则化技巧方面，我们将会观察需要对 CNN 做出哪些修改？
FNN:常规前馈神经网络 该网络不考虑输入数据可能具备的任何特定结构。
CNN:卷积神经网络，是一种深层前馈神经网络。

2. CNN要干什么事?

参考 https://blog.csdn.net/v_JULY_v/article/details/51812459

上图中CNN要做的事情是：给定一张图片，是车还是马未知，是什么车也未知，现在需要模型判断这张图片里具体是一个什么东西，总之输出一个结果：如果是车 那是什么车?
(1) 最左边是数据输入层:
对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA/白化等等。CNN只对训练集做“去均值”这一步。
(2) 中间是CONV：
卷积计算层，线性乘积 求和。
RELU：激励层
POOL：池化层，简言之，即取区域平均或最大。
(3) 最右边是
FC：全连接层

2.1 CNN又怎么进行识别呢？

例如，给出“X”的一张图片，如何识别它是“X”,简单粗暴的做法是找一个标准的“X”进行对比，但是有一个问题，这个给出的“X”只要稍微有一点扭曲或者变形便可能无法识别。如何解决这一个问题呢？CNN 便出现了。

对于CNN来说，它是一块一块地来进行比对。它拿来比对的这个“小块”我们称之为Features（特征）。在两幅图中大致相同的位置找到一些粗糙的特征进行匹配，CNN能够更好的看到两幅图的相似性，相比起传统的整幅图逐一比对的方法。

这样进行匹配，但是怎样进行数学运算？这里变引入了卷积。

3. 什么是卷积

对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。
（1）一维卷积

（2）二维卷积

存在问题

• 6乘以6变成4乘以4
• 边缘像素被很少使用到
  如何解决这一问题，那就是去填充边缘！
  
  （3）三维卷积

特别注意：深度学习时卷积核不翻转

4. CNN之池化层（pooling 也叫汇聚层和子采样层）和全连接层（FC）

（1）池化层
首先来讲一讲池化层的作用：图片特征具有不变性， 也就是通过下采样（缩小图片叫下采样，上采样是图片放大。）不会丢失图片拥有的特征， 由于这种特性， 我们可以将图片缩小再进行卷积处理， 这样能够大大降低卷积运算的时间。通过降低维数，解决过拟合问题。最常用的池化层形式是尺寸为2×2的窗口， 滑动步长为2， 对图像进行下采样， 将其中75%的激活信息都丢掉， 选择其中最大的保留下来， 这其实是因为我们希望能够更加激活里面的数值大的特征， 去除一些噪声信息。
下图为池化层的计算

除了最大值池化之外， 还有一些其他的池化函数， 比如平均池化， 或者L2范数池化。 在实际中证明， 在卷积层之间引入最大池化的效果是最好的， 而平均池化一般放在卷积神经网络的最后一层。
（2）全连接层：参考 https://zhuanlan.zhihu.com/p/33841176
全连接作用：将学到的“分布式特征表示”映射到样本标记空间的作用。
连接层之前的作用是提取特征
全链接层的作用是分类

当我第一次看到这个全连接层，我的第一个问题是：

它是怎么样把3x3x5的输出，转换成1x4096的形式
如下图：

很简单,可以理解为在中间做了一个卷积，图如下：

因为我们有4096个神经元
我们实际就是用一个4096个3x3x5的卷积层去卷积激活函数的输出。

5. 几种典型的CNN网络

5.1 LeNet-5

未完待续。。。。