ResNet -- 卷积神经网络

1、ResNet 出现解决的问题

上文中，说到VggNet优秀的成绩，证明了更深的网络，能更好的提取特征。但当模型深度达到某个程度后继续加深会导致训练集准确率下降。

该如何解呢？可以从一个假设入手，假设是因为网络过深而无法优化。何凯明和他的团队，就这个问题做了优化，引入了跳连的结构来防止梯度消失的问题，进而可以进一步加大网络深度。

2、ResNet 介绍

先看看什么叫跳连，如下图所示：

跳连

如上图，跳连是输入x后，有两条分支来处理x，其中一条分支是x经过两层3 * 3卷积，另一条线是将x和经过卷积后结果相加在一起。从数学公式可以推出：H(x)=F(x)+x。F(x)是卷积过程，H(x)是跳连的过程，又称作为残差学习。为什么生效呢？ 如果出现梯度消失，这时F(x)学不到东西，但加上x效果至少能保证和浅层的网络持平。

ResNet 网络结构

从网络结构中，可以看出核心单元--残差学习块（跳连块）简单堆叠。结构清晰明了。卷积后，没有全连接层，经过Average Pooling层代替全连接层。解决了梯度消失的问题，可以加大网络深度，提高模型的特征抽取能力。

3、参考资料

• 回顾和总结卷积神经网络的发展过程

• 卷积神经网络发展历史及各种卷积神经网络模型简介