极市平台60期 #ResNeSt

之前做过网络概要分析：见我的blog
ResNeSt网络结构概要解读
相应的还有
ResNet系列及其变体目录

---

NIN重要性
VGG模块化

highway network 加权平均

为了解决梯度消失
vgg：先shallow
goolenet：引入auxiliary loss

alexnet引入 ：两个GPU，独立工作
等价单分支实现，在channel维度上 进行拆分，两个layer完全等价，模块块多分支网络

注意力机制

split Attention

ResNetD-50 ,zhanghang组去年的工作

迁移到检测

网络魔改

为后面的nas扩展

---

答疑（本人速写，并不全面，有疑问Q）

1、backbone对大部分数据都有效吗？
答：改善网络结构的表达能力，理论上都有效，人脸识别 video 都有 显著提高

2、Res2Net，Regnet比较
答： 加入到regnet机制中，可以 显著改善搜索空间。Regnet缺点，很难模块化 ，不友好。

3、优点
答：优化高效

4、通道注意力与像素空间注意力机制
答：本文 用通道注意力机制。像素空间注意力机制最大缺点 对GPU不友好

5、ResNeSt对显存
没有具体统计，但是比Resnet50需要时间多

6、对比resnet，采用的训练技巧？
答：基于resnetD 对比加入mixup和data augmentation，基于网络大概提高1.2个百分点，调整网络增加flops的情况下，可以再次提高0.5个百分点。参见论文，有具体训练方法。

7、请问对small object detection有什么见解吗？
答：small object detection的一些困难，认为小的物体对检测物体本身的难度困难困难没有比它准确分类的难度高。在很多情况下在mscoco的 数据集上可以检测到一些相对比较小的物体，比如two-stage network，faster-rcnn，先有一个proposal，然后提取proposal feature map，其实当前的feature map的resolution是非常小的，缺乏全局的语义信息，分类变得比较困难。小物体是可以检测到的，但是 不能分类准确。解决：使用更好的backbone，比如ResNeSt包含注意力机制，包含更多的全局信息，对分类有帮助。也可以从detection本身改进，加入全局信息。

8、ResNeSt使用 基于patch 像素分类有什么建议？
答：基于patch分类，two-stage 检测很类似于patch分类。引入全局机制可能会有帮助？

9、cardinality在实验中为什么为1？
答：作为基础网络，作为backbone，服务下流应用 。设计网络的初衷，不仅在于acc，cardinality增大到很大的程度，acc会提高很多，但是这样的网络是没有意义的，从memory 占用率的角度是没有优势的。希望一个有效的网络作为backbone，在迁移 学习 中没有增加memory的负担，然后选择的是最简化的trade-off选择了2x1s的模型。github也提供不同大小的模型。

10、可视化注意力的图怎么可视化？