pytorch 复现训练结果

最近工作需要，查了一些资料，如何复现训练结果，现做个记录，如有不完整，还请指教

1、设置随机种子

torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed)
random.seed(seed)

2、关于cudnn

2.1
torch.backends.cudnn.enabled = False
#禁用cudnn，运算速度会明显下降

2.2
torch.backends.cudnn.benchmark = True
#大部分情况下，设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法， 
#来达到优化运行效率的问题

#前提条件是输入的数据维度比较一致，如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每
#次都会去寻找一遍最优配置，这样反而会降低运行效率

2.3
torch.backends.cudnn.deterministic = True
#可以将cudnn中具有随机性的操作固定

3、some issues about reproducing on pytorch below the url:

https://discuss.pytorch.org/t/how-to-get-deterministic-behavior/18177

https://discuss.pytorch.org/t/non-reproducible-result-with-gpu/1831