ResNet的改进系列:ResNext和Res2Net

ResNext:
paper: https://arxiv.org/abs/1611.05431
code: https://github.com/facebookresearch/ResNeXt
Res2Net:
paper: https://arxiv.org/pdf/1904.01169.pdf
code: https://mmcheng.net/res2net/

这次和大家分享两篇ResNet改进系列的文章,一篇是2017年发表在CVPR上面的ResNext,其采用“split-transform-merge”思路,设计了Cardinality(基数)卷积方式,构建了ResNext block;另一篇是2019年发表的Res2Net,作者提出在原有的残差单元结构中增加小的残差块,使网络能够在更细粒度上表示多尺度特征,并增加每一层网络的感受野。
ResNext是ResNet和Inception的结合体,其本质就是分组卷积,通过Cardinality(基数)来控制组的数量。ResNext的卷积块结构如下图1所示,其中每一个矩形框内表示的是一个卷积,参数从左到右分别是输入通道,卷积核大小,输出通道,然后每一列表示一个Cardinality,一共32个,最后再把所有的Cardinality的结果相加到一起,并且添加输入到输出的快捷连接。
ResNet的改进系列:ResNext和Res2Net_第1张图片
图1 ResNext卷积块示意图
ResNext和其他同等结构的比较如下图2所示,图2(a)表示先进行卷积,然后进行块相加结合;图2(b)表示先进行拼接,然后再进行卷积;图2©表示将开始的1x1合并到一起,然后进行32个3x3的分组卷积。
ResNet的改进系列:ResNext和Res2Net_第2张图片
图2 ResNext的同等结构
ResNex的实验结果如下图3所示,相同层数的ResNet和ResNex在Imagenet上实验结果表明,ResNext的训练误差和测试误差都比ResNet低。
ResNet的改进系列:ResNext和Res2Net_第3张图片
图3 ResNext在ImagenNet-1k上的实验结果

Res2Net是在原有的残差单元结构中增加小的残差块,同时增加了每一层网络的感受野大小,其网络结构如下图4所示。图4(a)表示的是基本的残差卷积块;图4(b)是对(a)中的3x3进行改进,将1x1卷积后的特征图按通道数平均分为s(图中s=4)块,每一个小块是Xi,每一个Xi都会进行一个3x3的卷积,用Ki ( )表示卷积,卷积结果由Yi表示, Xi与Ki-1 ( )的输出相加,然后送入Ki ( )。这样就可以得到不同数量和不同感受野大小的输出,例如:y2得到3x3的感受野,y3可以得到5x5的感受野,y4则可以得到更大的7x7的感受野。最后将4个结果进行拼接融合,再进行1x1的卷积,这种先拆分后融合的思路可以得到多尺度的特征,和更好的进行特征融合。
ResNet的改进系列:ResNext和Res2Net_第4张图片
图4 Res2Net的网络结构示意图
Res2Net和SENet相结合的改进结构如下图5所示,主要改进就是将Res2Net中的单个3x3卷积换成了多组的3x3卷积,并且再Res2Net后加入了一个SE block,对每一个通道分配一个权重,来增加每个通道的特征相应。
ResNet的改进系列:ResNext和Res2Net_第5张图片
图5 Res2Net改进结构示意图
Res2Net的实验结果如下图6所示,在ImageNet数据集上Res2Net比ResNet、DLA、SEResNet、DensNet有更小的误差。并且在检测和分割任务上也可以起到很好的提升精度的作用。
ResNet的改进系列:ResNext和Res2Net_第6张图片在这里插入图片描述
ResNet的改进系列:ResNext和Res2Net_第7张图片
ResNet的改进系列:ResNext和Res2Net_第8张图片
图6 Res2Net在ImageNet上的实验结果

你可能感兴趣的:(深度学习,CNN,计算机视觉,深度学习,卷积)