[nlp] 深度残差网络 ResNet（Residual Network）

参考：https://baijiahao.baidu.com/s?id=1598536455758606033&wfr=spider&for=pc

在 AlexNet 取得 LSVRC 2012 分类竞赛冠军之后，深度残差网络（Residual Network, 下文简写为 ResNet）可以说是过去几年中计算机视觉和深度学习领域最具开创性的工作。ResNet 使训练数百甚至数千层成为可能，且在这种情况下仍能展现出优越的性能。

泛逼近定理（universal approximation theorem），只要给定足够的容量，单层的前馈网络也足以表示任何函数。但是，该层可能非常庞大，网络和数据易出现过拟合。因此，研究界普遍认为网络架构需要更多层。

自 AlexNet 以来，最先进的 CNN 架构已经越来越深。AlexNet 只有 5 个卷积层，而之后的 VGG 网络 [3] 和 GoogleNet（代号 Inception_v1）[4] 分别有 19 层和 22 层。

ResNet 的核心思想是引入一个所谓的**「恒等快捷连接」（identity shortcut connection）**，直接跳过一个或多个层，如下图所示：