论文阅读:Bag of Tricks for Image Classification with Convolutional Neural Networks
AWS李沐大佬的paper,主要是介绍了一些模型训练过程中的技巧。通过这些小技巧的堆叠,把ResNet-50’stop-1在ImageNet上验证准确率从75.3%提升至79.29%。1.高效训练1.1large-batch-training大的batch可能会降低训练速度。用启发式的方法来解决Linearscalinglearningrate增大batch-size之后,梯度的期望不变,但是方差