卷积神经网络-ResNet

卷积神经网络-ResNet_第1张图片
当网络变的较深时,会出现梯度离散现象,训练效果不增反降。加入一个短路层,允许不经过一部分层直接输出
卷积神经网络-ResNet_第2张图片
由网络自己选择退化哪一层变成短路层。
卷积神经网络-ResNet_第3张图片
ResNet在2015年取得了非常大的效果提升。主要是因为他使得训练更深层的网络成为可能。

卷积神经网络-ResNet_第4张图片
性能对比,计算量较小,同时准确率较高的网络有ResNet-101、Inception-v4。VGG网络的性能尚可,但是计算量较大,因为其卷积核不够小

你可能感兴趣的:(pytorch)