ResNet学习汇总

一、提出思想的理解

论文利用信号叠加合并的优点,解決了超深度CNN网络训练时的梯度消失和爆炸的问题,提出了一个 deep residual learning 框架来解决这种因为深度增加而导致性能下降问题。

残差网络Residual networks赢得了ImageNet的detection,localization,以及COCO数据集上的detection和segmentation的第一名。

借用一篇博客所讲进行理解,博客地址:https://blog.csdn.net/shirleycyy/article/details/79947614,如有侵权请联系删除。
ResNet学习汇总_第1张图片

二、网络结构的理解

越深的网络效果越好,但是随着网络层数的增加,问题随之而来:首先,梯度的消失和爆炸导致训练难以收敛。但是随着normalized initialization和intermediate normalization layers的提出,这个问题得到一定程度的解决。其次,随着网络深度的增加,在系统精度得到饱和之后,精度迅速下降。对一个合适深度的模型加入额外的层数反而会导致训练误差变大,因为训练误差也会随着深度增加而增大。

如果我们增加的层数可以构建为一个identity mappings,那么增加层数后的网络训练误差应该不会增加。这里我们提出一个deep residual learning框架来解决这种因为深度增加而导致性能下降问题,假设我们期望的网络层关系映射为H(x), 我们让the stacked nonlinear layers拟合另一个映射,F(x):= H(x)-x,那么原先的映射就是F(x)+x,这里我们假设优化残差映射F(x)比优化原来的映射H(x)容易。

另外,从一个朋友的博客中看到博主对ResNet的理解,包含各方各面,很深刻也很有意思,这里借鉴过来,博客地址是:https://www.cnblogs.com/yanshw/p/10576354.html,如有侵权,请联系删除。
ResNet学习汇总_第2张图片
ResNet学习汇总_第3张图片
ResNet学习汇总_第4张图片

三、网络实现

ResNet学习汇总_第5张图片
ResNet学习汇总_第6张图片
参考博客地址:https://blog.csdn.net/shirleycyy/article/details/79947614,如有侵权请联系删除。

你可能感兴趣的:(神经网络,深度学习)