resnet---残差结构

在我们搭建网络的时候，随着我们的网络层数越来越深的时候，我们会发现我们的网络精度随着我们网络层数的增加而减少。

可见我们的网络层数并不是越深越好

出现这种情况的原因是：梯度消失，梯度爆炸，以及退化问题（梯度消失和梯度爆炸的原因是因为误差梯度的问题）

我们的解决方法是：数据标准化处理，权重初始化，BN层（让我们获得均值为0.方差为1的feature map）,以及残差结构。

本篇文章我们主要讲残差结构。

残差结构是resnet网络中一个特殊的结构。

我们主要看上图右边的部分，我们输入的卷积核矩阵维数为256，我们有两条分支，经过激活函数的分支是我们的正常分支，另一条分支是short cut,我们先看正常分支，首先通过一个1*1的卷积核，降维为64，再经过一个3*3的卷积核，维数不变，最后经过一个1*1的卷积核升维，我们short cut分支的矩阵是没有变化的，我们将这两个分支的结果相加，最后经过一个激活函数层，得到我们最终的结果 。（相加有一个前提，我们两条分支的矩阵的长、宽、深度都必须对应相同）。