从ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 演进学习总结

      本文主要总结一下最近学习ResNet、DenseNet、ResNeXt、SE Net、SE ResNeXt 的演进，归纳了一下整个特点，话不多说先上图：

1.ResNet

1.1 结构特点

1.shortcut connection增加了它的信息流动

2.恒等映射，堆叠的非线性层

1.2 当输入、输出通道数不同时

1.将X相对Y缺失的通道直接补零

2. 使用1x1的conv来表示Ws映射

2. DenseNet

2.1结构特点

1. shortcut 连接所有层

2. 信息可以多方向的往下传，而梯度则可以多方向的反向传，训练更容易

 

3. ResNeXt

3.1结构特点

1. 自由度cardinality（一般32），X指的就是 neXt dimension

2. 用一种平行堆叠相同拓扑结构的blocks代替原来 ResNet 的三层卷积的block

3. 与 ResNet 相比，相同的参数个数，结果更好

4. 网络结构简明，模块化，需要手动调节的超参少

3.2 结构对比

1. 把输出那里的1x1合并到一起得到类似Inception-ResNet结构

2. 进一步把输入的1x1也合并到一起得到通道分组卷积的网络

3. 引入Inception结构，通过稀疏连接来approach之前的dense连接

 

4. SE-ResNet

4.1 结构特点

1. Squeeze：使用global average pooling (GAP)将每个二维的特征通道变成一个实数

2. Excitation：通过bottleneck结构来捕捉channel的inter-dependency，从而学到channel的scale factor（选择每个特征通道的重要性）

3. Reweight：通过乘法逐通道加权到Excitation的输出，完成在通道维度上的重标定

5. SE-ResNeXt

5.1 结构特点

1. block使用SE-ResNet的Squeeze、Excitation为基础，使用ResNeXt的cardinality