ResNeXt

ResNext: Aggregated Residual Transformations for Deep Neural Networks

简介

可以认为是ResNet的升级版。原理非常简单,一张图即可搞明白:

ResNeXt_第1张图片

这种思想可以有三种实现形式:

ResNeXt_第2张图片

作者实验发现,三种形式效果差不多,考虑计算性能,选择第三种。

作者提出一个概念:把上述building block中除了short-cut以外的支路数量称为cardinality(基数)。作者把cardinality和depth、width两个概念并列,并在实验中证明增加cardinality比增加depth或width更加有效。

ResNeXt_第3张图片

在FLOP同样增加到2倍的情况下,增加cardinality的方法获得了最好的结果(top5:5.3%)。而且即使在FLOP只有1/2的情况下,ResNeXt也比ResNet效果好。

你可能感兴趣的:(深度学习)