ResNet网络解析

文章目录

  • 一、什么是ResNet网络结构
  • 50、101、152层的网络

一、什么是ResNet网络结构

ResNet是一种残差网络,咱们可以把它理解为一个子网络,这个子网络经过堆叠可以构成一个很深的网络。
ResNet网络解析_第1张图片
ResNet网络解析_第2张图片
左边是输入的256的通道数,先在主干上进行3x3x256的卷积,之后再进行激活函数relu,然后再进行3x3x256的卷积,最后和旁边捷径进行相加,必须保证两者的shape相同,再进行relu激活函数。

右边图通过1x1x64进行降维,再进行激活函数,然后进行3x3x64的卷积核,进行激活函数,再进行1x1x256的卷积核进行升维操作,在进行相加操作,激活函数

50、101、152层的网络

ResNet网络解析_第3张图片

网络中的亮点

  • 超深的网络结构(突破1000层)
  • 提出残差(residual)模块
  • 使用Batch Normalization加速训练(丢弃dropout)

ResNet网络解析_第4张图片
ResNet网络的每个参数的对比
ResNet网络解析_第5张图片

下图为旁支为实线和虚线的区别
ResNet网络解析_第6张图片
对于左边的残差结构,输入和输出的shape是相同的,可以直接相加

对于右边的残差结构中,在旁支虚线上进行了步长stride为2的操作,让长和宽缩小了2倍,再进行1x1x128的卷积操作,变成28x28x128。如果相加必须保证shape相同。在主干上,先进行了stride步长为2,把原来的图像进行缩小2倍,变成28x28,再进行stride为1的操作,图像长宽不变

你可能感兴趣的:(深度学习,深度学习,神经网络,pytorch)