CNN学习4——ResNet Deep residual learning for image recognition

文章翻译可以参考：https://blog.csdn.net/wspba/article/details/57074389

ResNet理解汇总：

1、http://lanbing510.info/2017/08/21/ResNet-Keras.html

 

2、https://cloud.tencent.com/developer/article/1148375

plain network 的模型如下，即F(x) = y。F就是要优化的目标函数。

ResNet模型如下，优化的目标F是F(x) = y-x，即为残差。

3、https://blog.csdn.net/u013709270/article/details/78838875

        深度网络的退化问题至少说明深度网络不容易训练。但是我们考虑这样一个事实：现在你有一个浅层网络，你想通过向上堆积新层来建立深层网络，一个极端情况是这些增加的层什么也不学习，仅仅复制浅层网络的特征，即这样新层是恒等映射（Identity mapping）。在这种情况下，深层网络应该至少和浅层网络性能一样，也不应该出现退化现象。好吧，你不得不承认肯定是目前的训练方法有问题，才使得深层网络很难去找到一个好的参数。

        这个有趣的假设让何博士灵感爆发，他提出了残差学习来解决退化问题。对于一个堆积层结构（几层堆积而成）当输入为时其学习到的特征记为，现在我们希望其可以学习到残差，这样其实原始的学习特征是。之所以这样是因为残差学习相比原始特征直接学习更容易。当残差为0时，此时堆积层仅仅做了恒等映射，至少网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。残差学习的结构如图4所示。这有点类似与电路中的“短路”，所以是一种短路连接（shortcutconnection）。