[PaperNotes]Rethinking ImageNet Pre-training

这篇文章来自目标检测方面的3位大佬：

image.png

目的：
大家还是希望能让detection/instance-segmentation提升精度。那么ImageNet pre-train确实是目前的de facto。问题是，这个是最优的吗？

个人觉得有用的几个结论：

1. 恰当的使用normalization技术 + 多训练一会儿，精度能上来

   
   
   

   image.png

2. detection/ins-seg任务和image classification任务的gap，如果你追求accuracy，那就是不容忽略的：

   
   
   

   image.png
   
   

   早前欧阳万里的文章也提到过这一点，dsod也是类似。

相应的注意事项和方法：

• 关于normalization：

  
  
  

  image.png
  
  
  

  image.png
  
  
  

  image.png

• 关于训练时间：
  预训练确实学到一些特征，不容否定：

  
  
  

  image.png

多训练一会儿：

image.png

发散讨论

image.png

dsod说ssd能from scratch而faster rcnn失败，可能是voc数据量不够：

image.png

edge detection也应该可以from scratch。