什么是resnet

参考这份总结

这种模型提出的背景：

1. 卷积神经网络是用来提取特征的，越深的网络提取特征的能力越强，越能提取更高层次的特征。
2. 很多网络如VGG等，通过减小宽度、增加深度来表征深层次特征。
3. 网络加深容易带来梯度消失和梯度爆炸的问题，在反向传播中，梯度是由后往前逐个相乘的。
4. 网络深度的增加，往往又会带来性能下降（退化）等问题。
5. 残差网络是为了解决人们希望用更深的网络提取更高层次特征 与 随着网络深度增加而性能退化 之间的矛盾。

这种模型提出的理论依据

1. 既然深层网络提取更深的特征，那么网络后端（更深层次特征）特征应该包含前端的特征（浅层次特征）。
2. 既然网络可能退化，那么我每经过一组卷积，我就把这组卷积的输出和输入进行特征融合，这样就保证了输出的信息 大于等于 输入的信息。即使网络性能退化，我也至少能保证随着深度增加，提取的特征是越来越丰富的。
3. 由于输出融合了输入，因此卷积运算就重点在于学习输入与输出的微小差距，也就是残差。