ResNeSt网络结构概要解读

本篇主要介绍ResNeSt，其他相关系列及其变体见如下blog目录

ResNet系列及其变体目录

---

ResNeSt: Split-Attention Networks

enables attention across feature-map groups，提出Split-Attention模块。

---

背景知识

基于Multi-path and Feature-map Attention。

• GoogleNet中提出Multi-path，其中每个网络块由不同的卷积内核组成。
• ResNeXt在中采用group convolution，具体见我的另一篇blog:ResNet系列及其变体(四)—ResNeXt
• SE-Net 提出 channel-attention 来重新调整通道响应。具体见我的另一篇blog:SENet网络结构概要解读
• SK-Net 引入 feature-map attention acrosss two network branches.具体见我的另一篇blog:SKNet网络结构概要解读

SE-Net、SK-Net和 论文提出的ResNeSt block结构图如下 ：

---

Split-Attention Block

Feature-map Group
feature map被分为多个group，每个group又进行分组。
超参数K：表示group数目（ cardinality hyperparameter）
超参数R：表示基数组内的split数（radix hyperparameter）
总feature map的group数 $G=KR$

对每一个group，transformations $\{{\mathcal{F}}_1,{\mathcal{F}}_2,...,{\mathcal{F}}_G\}$，$U_i=F_i(x),fori\in \{1,2,..,G\}$

Split Attention in Cardinal Groups

• ${\hat{U}}^k={\sum }_{j=R(k-1)+1}^{Rk}{U}_j$
  其中，${\hat{U}}^k\in {\mathbb{R}}^{H\times W\times C/K}$,for $k\in 1,2,...K$
  $c=C/K$

• Global pooling.
  

• r-Softmax

• 融合

• 等价转换

网络调整

---

训练策略

• Large Mini-batch
• Label Smoothing
• 学习率根据余弦调整
• Auto Augmentation
• Mixup Training
• Large Crop Size：256
• Regularization ：dropout/DropBlock/L2 regularization

---

Result