第十周 SENet

1：文字回答：用自己的语言描述注意力机制的方式（最好有图）？
答：注意力机制的方式描述如下：
首先先来了解一下注意力的概念，注意力就是指人的心理活动指向和集中于某种事物的能力。比如说，第一眼看到一只狗，一只猫，看到猫狗的过程就是一个注意力机制的过程。当你注意力在狗的时候，你的大脑会给与该区域更多的关注。

注意力机制来源于人类大脑，并被引入NLP技术中，然后才被运用到CV领域。从数学角度看，注意力机制即提供一种权重模式进行计算。神经网络中，注意力机制即利用一些网络层计算得到特征图对应的权重值，对特征图进行“注意力机制”。

2：文字回答：Excitation中的Reduction ratio是什么意思？有什么作用？
答：Reduction ratio是一个重要的参数，其中关于r的有对比实验，经验值为16，其作用是控制第一个全连接层神经元个数，进而影响SE Block的参数量。

3：文字回答：SE-Module嵌入ResNet中有几个方式？
答： SE-Module嵌入ResNet有四种方式，如下图所示：

针对这四种方式，实验表明精度差别不大，从而得出结论:SE Block很鲁棒。

4：文字回答：读完该论文，对你的启发点有哪些？
答：1. 本文提出SE模块生成通道维度的权重向量，用于特征“重构”，实现强调重要特征，忽略不重要特征，增强模型表征能力，提高模型性能。
2. 设计一系列实验验证SE Block的有效性，特别是Ablation Study方法十分指的借鉴学习。
3. 本文研究通道之间的关系，表明模型的发展已经从框架走向细节。
4. 论文对注意力机制的解释，计算资源偏向那些有价值有意义的特征。
5. 低维嵌入的理解，将数据做了某种操作（变换、映射），将数据维度压缩之后，可称为Embedding。
6. 实验结果表明，加入SE blocks可作为模型增加深度的互补，即同时增加SE Block和网络深度，均可带来性能提升。
7. GoogLeNet系列模型难复现，表明其中有很多trick，所以模型适用性不如ResNet。
8. 要想证明提出的方法好，最好在多个数据集上进行测试验证。
9. ILSVRC夺冠方案，多模型融合，multi-scale,multi-crop融合；并提出延伸模型SENet-154，其实通过ResNeXt改进得来，这表明ResNeXt是一个非常优秀的模型。夺冠当中采用了三种基础模型，分别是SE-ResNet,SE-ResNeXt和SE-Inception-ResNet。
10. SE block嵌入ResNet时，FC层不需要加偏置，这个在代码实现时候会再次强调。
11. 下一步可研究内容：不同层的Reduction ratio应可以不一样，可考虑设置更优的Reduction ratio,例如，用RNN自动搜索。
12. 多个对比实验的精度没有明显差异时，可考虑从另外一个角度描述，例如这里说SE units有很好的鲁棒性。
13. 越靠前的层的特征越普遍，越靠后则越特殊，比如前面的层学习到边缘、颜色块等特征，后面学到物体的整体特征。
14. 训练技巧：为了让训练和测试保持一致，在最后几个epoch的时候，冻结住BN层的参数。
15. 训练技巧：Batchsize越大，学习率也可以越大，但普通玩家没有那么大的GPU。该结论为经验，并无理论证明，也可参见论文：《Reducing BERT Pre-Traing Time from 3 Days to 76 Minutes》

5：代码实现(选做题)：在cifar-10上训练一个SE-ResNet-20 和 ResNet-20，将训练曲线，混淆矩阵图等信息贴出来分享

ResNet-20: done ~~~~ 08-28_00-20, best acc: 0.9272 in :266 epochs.

SE-ResNet-20：done ~~~~ 08-27_20-27, best acc: 0.9279 in :288 epochs.