卷积神经网络初识

结构

• CNN有的层级：输入层，卷积层，RELU激励层，池化层，全连接层。
• CNN的每一层都具有不同的功能, 而传统神经网络每一层都是对上一层特征进行线性回归, 再进行非线性变换的操作。
• CNN使用RELU作为激活函数(激励函数) , 传统神经网络使用sigmoid函数作为激活函数。

数据输入层

和神经网络/机器学习一样，需要对输入的数据需要进行预处理操作。
在神经网络中，输入是一个向量，但是在卷积神经网络中，输入是一个多通道图像

常见的数据预处理的方式有以下几种:
1，均值化处理 — 即对于给定数据的每个特征减去该特征的均值(将数据集的数据中心化到0)
2，归一化操作 — 在均值化的基础上再除以该特征的方差(将数据集各个维度的幅度归一化到同样的范围内)
3，PCA降维 — 将高维数据集投影到低维的坐标轴上, 并要求投影后的数据集具有最大的方差。
4，白化 — 在PCA的基础上, 对转换后的数据每个特征轴上的幅度进行归一化.用于获取高频信息。

池化层

池化，简言之，即取区域平均或最大。可以实现数据的降维作用，如图，

卷积计算层

对图像和滤波矩阵做内积的操作就是所谓的卷积操作。
非严格意义上来讲，下图中红框框起来的部分便可以理解为一个滤波器，即带着一组固定权重的神经元。多个滤波器叠加便成了卷积层。

FC全连接层

类似传统神经网络中的结构，FC层中的神经元连接着之前层次的所有激活输出；换一句话来讲的话，就是两层之间所有神经元都有权重连接；通常情况下，在CNN中，FC层只会在尾部出现

通过全连接结构,将前面输出的特征重新组合成一张完整的图像

CNN解决的问题

• 传统的逐一对比法，对于图像的平移，缩放，旋转，微变形等简单变换，无法很好得匹配出结果。
• CNN的出现，致力于解决对于那些仅仅只是做了一些像平移，缩放，旋转，微变形等简单变换的图像，计算机仍然能够识别出图中的"X"和"O"。

对于CNN来说，它是一块一块的进行对比，它拿来对比的这小块我们称之为Features（特征）。在两幅图中大致相同的位置找到一些粗糙的特征进行匹配，CNN能够更好的看到两幅图的相似性，相比起传统的整幅图逐一比对的方法。

关于滤波器（卷积核）

中间部分就是滤波器filter（带着一组固定权重的神经元），不同的滤波器filter会得到不同的输出数据，比如颜色深浅、轮廓。相当于如果想提取图像的不同特征，则用不同的滤波器filter，提取想要的关于图像的特定信息：颜色深浅或轮廓。

CNN的优缺点

优点
① 使用局部感知和参数共享机制（共享卷积核）, 对于较大的数据集处理能力较高.对高维数据的处理没有压力
② 能够提取图像的深层次的信息,模型表达效果好.
③ 不需要手动进行特征选择, 只要训练好卷积核W和偏置项b, 即可得到特征值.

缺点
① 需要进行调参, 模型训练时间较长, 需要的样本较多, 一般建议使用GPU进行模型训练.
② 物理含义不明, 每层中的结果无法解释, 这也是神经网络的共有的缺点.

激活函数

为了使神经网络能够拟合出各种复杂的函数，必须使用 非线性激活函数，用来加入非线性因素，把卷积层输出结果做非线性映射。

参数（权值）共享

每张自然图像（人物、山水、建筑等）都有其固有特性，也就是说，图像其中一部分的统计特性与其它部分是接近的。这也意味着这一部分学习的特征也能用在另一部分上。因此，在局部连接中隐藏层的每一个神经元连接的局部图像的权值参数（例如5×5），将这些 权值参数共享 给其它剩下的神经元使用，那么此时不管隐藏层有多少个神经元，需要训练的参数就是这个局部图像的权限参数（例如5×5），也就是卷积核的大小，这样大大减少了训练参数。如下图所示：

对于下图而言，卷积神经网络使用某一特征过滤器提取“手写5”的特征，5处在不同的位置，都可以提取。但是对于全连接网络来说，如果模式出现在新的位置，它只能重新学习这个模式。这使得卷积神经网络在处理图像时可以高效利用数据（因为视觉世界从根本上具有 平移不变性），只需要更少的训练样本就可以学到具有泛化能力的数据表示。

参考链接

https://tefuirnever.blog.csdn.net/article/details/100057229

https://blog.csdn.net/v_JULY_v/article/details/51812459