pytorch 半精度训练

必坑记录

pytorch 半精度训练_第1张图片
这种训练直接变成nan了结果

实验结果

前者采用正常训练
在这里插入图片描述
后者改进为
from torch.cuda.amp import autocast as autocast
在这里插入图片描述
实验发现从一epoch44秒,减少为35秒。
但是训练的速度下降???

1 0.1 0.24348857969172819 2023-03-24 13:55:18
train_iters::703
train_acc::0.4415
test_acc::0.5398
validation_acc::0.5471
2 0.1 0.19170414526042015 2023-03-24 13:56:02
train_iters::1406
train_acc::0.5842
test_acc::0.5678
validation_acc::0.5729

1 0.1 0.2459259320416118 2023-03-24 14:08:25
train_iters::703
train_acc::0.438
test_acc::0.5173
validation_acc::0.5286
2 0.1 0.19614916702846374 2023-03-24 14:08:59
train_iters::1406
train_acc::0.5719
test_acc::0.5507
validation_acc::0.5513

你可能感兴趣的:(pytorch技巧,pytorch,深度学习,机器学习)