深度学习 个人对残差网络的理解

残差卷积的来源、为什么使用残差卷积：

残差网络是Microsoft Research的4位大佬提出的，在2015年的ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。

论文：Deep Residual Learning for Image Recognition

---

残差网络的特点以及优点：

残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。

其内部的残差块使用了跳跃链接，缓解了在深度神经网络中增加深度带来了梯度消失的问题。

传统的神经网络在信息传递的时候，或多或少会存在信息丢失，损耗等问题

同时还有可能导致梯度消失或者梯度爆炸，使得很深的网络无法训练

残差神经网络就能将这一问题进行优化

通过直接将输入信息绕道传到输出，保护信息的完整性

整个网络只需要学习输入和输出有差别的那一部分，这样就简化了学习目标以及难度。

---

残差网络结构

分析上面这张图片

ResNet有不同的网络层数

分别有：18层、34层、50层、101层以及152层（当然，这里的层指的是卷积的层数）

比较常用的是50层、101层、152层

---

残差网络的执行过程如下：

1. 我们准备一个32*n尺寸的图片（因为我们需要做五次卷积，所以$2^5=32$）
2. 第一步，使用卷积核为$7\ast 7$、步长为2，对图片进行卷积操作（这里我们需要将特征通过更改为64个特征）
   
3. 第二步，对图片进行最大池化操作，步长为2，将图片的大小缩减为一半（此时图片形状的大小为$56\ast 56$）
   【由于这里没有产生可变参数，所以这一步操作不算是50层中的一部分】
   
4. 第三步，开始对图片进行卷积操作（以卷积50层为例）
   1. 第一次卷积，使用步长为1，卷积核为$1\ast 1$的进行卷积
   2. 第二次卷积，使用步长为1，卷积核为$3\ast 3$的进行卷积
   3. 第三次卷积，使用步长为1，卷积核为$1\ast 1$的进行卷积（需要将特征通道更改为256）
   4. 重复上面的步骤三次
   5. conv3_x、conv4_x、conv5_x均与上面的操作步骤相似
      
5. 平均池化操作得到语义值（特征值）
   
   这里我们需要的特征值的语义是1000个，所以这里定义的是1000个语义值。

---

resnet50示意图如下：【下图中的55应更改为56】

图片来源：https://blog.csdn.net/qq_21046135/article/details/81674605

---