【cvpr2019】Bag of Tricks for Image Classification with Convolutional Neural Networks

Bag of Tricks for Image Classification with Convolutional Neural Networks

作者：Tong He, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, Mu Li
论文链接：https://arxiv.org/abs/1812.01187
源码链接：https://github.com/dmlc/gluon-cv
论文解读：图像分类技巧：Bag of Tricks for Image Classification with Convolutional Neural Networks

cvpr2019其他论文参考：https://github.com/extreme-assistant/cvpr2019

一句话解说：提供了模型优化方面的炼丹秘诀，采用作者复现的这些模型迁移到个人数据集上也能看到明显的效果提升，真的是非常实用

note：

1、复现结果：https://github.com/dmlc/gluon-cv
2、加快模型训练的方法：增大学习率、用一个小的学习率先训几个epoch、每个残差块的最后一个BN层的γ参数初始化为0、不对bias参数执行weight decay
3、对resnet的改进：最终resnet50-D效果最好

B：交换stride，3*3的stride=2，减少丢失的信息
C：在输入的时候替换7*7的卷积，借鉴了Inception v2的思想，减少计算量
D：在B的基础上修改，经过选择（比如这里是均值操作）后再丢失冗余信息，相比stride设置为2的1*1卷积层要好一些