卷积神经网络基础 学习笔记

教程来自B站up@霹雳吧啦Wz，链接：
 
卷积神经网络基础：https://www.bilibili.com/video/BV1b7411T7DA
 
卷积神经网络基础补充：https://www.bilibili.com/video/BV1M7411M7D2
 
up的博客：https://blog.csdn.net/qq_37541097
 
论文链接：ImageNet Classification with Deep Convolutional Neural Networks

 

CNN发展历程

 

全连接层

 

神经元

 
将单个神经元按列排列，列与列之间进行全连接，就得到一个BP神经网络。从左到右正向传播过程中能够得到一个输出值，将输出值和期望输出值进行对比得到误差值，通过计算每个节点的偏导数就可以计算出每个节点的误差梯度，将损失值反向应用到反向损失梯度上，就实现了误差的反向传播。
 
 

卷积层

 
滑动窗口在特征图上并进行计算
 

 

局部感知

 
若每一个神经元都像全连接一样，则需要的参数太多了，因此采用局部感知的方法。每一个神经元只需要感知图像中的局部信息，然后在更高层次进行信息组合就可以得到全局信息。
 

权值共享

 
权值共享实际上就是局部感知的部分，当用10X10的卷积核（共包含100个参数）去卷积整张图的时候，生成的feature map的每一个像素值都是由这个卷积核产生的，这就是权值共享。
 

 

卷积过程

输入彩色RGB图像，则输入特征矩阵有R、G、B三个维度，卷积核维度（深度）也应该是三维，每个维度的卷积核在特征矩阵上计算出的结果相加，得到输出矩阵。

• 卷积核的channel与输入特征层的channel相同
• 输出的特征矩阵channel与卷积核个数相同
• 如果需要加偏移量bias，每个在计算结果的矩阵（黄色）的每一个位置都加上bias，再得到输出矩阵，如 [[1,3],[1,1]] 变为 [[2,4],[2,2]] 。

 

激活函数

 

卷积过程矩阵大小计算

 

池化层

 

 

误差的计算

以三层的BP神经网络为例，输入层有两个节点， $x_1$、$x_2$，隐层有三个节点，以第一个节点$\sigma$为例，参数有$w_{11}^{(1)}$、$w_{12}^{(1)}$、$b_1^{(1)}$，输出层有两个节点。上标(1)代表第一层，下标第一个数代表上层的第几个节点，第二个数代表本层的第几个节点。

 
计算输出

 
Softmax激活函数为了使输出结果满足概率分布，计算公式为
$$o_i=\frac{e^{y_i}}{{\sum }_j{e}^{y_j}}$$
如上图输出$o_1$和$o_2$
$$o_i=\frac{e^{y_1}}{e^{y_1}+e^{y_2}}$$
$$o_i=\frac{e^{y_2}}{e^{y_1}+e^{y_2}}$$
经过softmax处理后所有的输出节点概率和为1
 

交叉熵损失（Cross Entropy Loss）

 

1. 针对多分类问题（softmax输出，所有的输出概率和为1）
   $$H=-\sum _i{o}^{\ast }log(o_i)$$

2. 针对二分类问题（sigmoid输出，每个输出及诶单之间互不相干，如猫狗分类）
   $$H=-\frac{1}{N}\sum _{i=1}^N[o^{\ast }log(o_i)+(1-o_i^{\ast })log(1-o_i)]$$
   其中 $o^{\ast }$ 为真实标签值， $o_i$ 为预测值，默认 $log$ 以 $e$ 为底（等于 $ln$ ）

本例使用的是softmax输出，将 $o_1$ 和 $o_2$ 代入公式1

$$Loss=-(o_1^{\ast }log(o_1)+o_2^{\ast }log(o_2))$$
 

误差反向传播

 
以求 $w_{11}^{(2)}$ 的误差梯度为例
 

 

 

 

权重的更新

 
$$w_{11}^2(new)=w_{11}^2(old)-learnin{g}_{rate}\cdot gradient$$
 

 

优化器

 
目的是使网络更快的收敛

• SGD
• SGD+Momentum
• Adagrad
• RMSProp
• Adam

 

SGD优化器

 
SGD+Momentum优化器

 
Adagrad优化器

 
RMSProp优化器

 
Adam优化器