训练人脸识别常见问题

人脸识别训练难点：数据量大（类别通常都是上十万，上百万）

训练当中常见注意要点：

1.尽管训练样本量大，但是任然需要使用预训练模型，目的是加速模型收敛；

2.加载预训练模型时，最好加载在cpu上，加载在gpu上，模型参数会占显卡；

checkpoint = torch.load(args.BACKBONE_RESUME_ROOT, map_location=torch.device('cpu'))

3.优化器SGD，策略使用“多步”变化时，一般在lr=10-3和lr=10-4时，loss下降最多，所以处于这两个lr的时候，epoch可以设置大一些（我在蒸馏的时候设置的是epoch=20,其实差不多在17的位置loss已经不怎么发生改变了），所以在训练过程中，在观察到loss不发生变化后，就准备降低学习率，达到降loss的目的；