python中随机种子_Pytorch随机种子
最近在做比赛的时候，遇到了一个最好结果，但是之后无论怎样都复现不出来最好结果了。猜测是不是跟Pytorch中的随机种子有关。
训练过程
在训练过程中，若相同的数据数据集，相同的训练集、测试集划分方式，相同的权重初始化，但是每次训练结果不同，可能有以下几个原因：Dropout的存在
Pytorch、Python、Numpy中的随机种子没有固定
数据预处理、增强方式采用了概率，若没有设置固定的随机种子，结果可能不同。例如常用数据增强库albumentations就采用了Python的随机产生器。
训练数据集被随机打乱了顺序
向上采样和插值函数/类的向后是不确定的(Pytorch的问题)
另外，在Pytorch官方文档中说明了在Pytorch的不同提交、不同版本和不同平台上，不能保证完全可重现的结果。此外，即使使用相同的种子，因为存在不同的CPU和GPU，结果也不能重现。
但是对于一个特定的平台和PyTorch发行版上对您的特定问题进行确定性的计算，需要采取几个步骤。在can’t reproduce results even set all random seeds说明了两种解决方式：在运行任何程序之前写入下面代码(可以放在主代码的开头)1
2
3
4
5
6
7
8torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed) # Numpy module.
random.seed(seed) # Python random module.
torch.manual_seed(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True在Pytorch的DataLoader函数中填入为不同的work设置初始化函数，确保您的dataloader在每次调用时都以相同的顺序加载样本(随机种子固定时)。如果进行裁剪或其他预处理步骤，请确保它们是确定性的。1
2
3def (worker_id):
np.random.seed(int(seed)
trainloader = DataLoader(trainset, batch_size=batch_size, shuffle=True, num_workers=num_workers, pin_memory=True, worker_init_fn=_init_fn)
向上采样和插值函数/类的向后是不确定的(请参见此处)。这意味着，如果你在训练图中使用这样的模块，无论你做什么，都永远不会得到确定性的结果。torch.nn.ConvTranspose2d函数是不确定的，除非你使用torch.backends.cudnn.deterministic = True(原文中说you can try to make the operation deterministic ... by setting torch.backends.cudnn.deterministic = True，所以这样做是否能够得到正确结果也是待定的)。1
2
3
4
5
6
7
8
9
10
11def seed_torch(seed=1029):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)大专栏 Pytorch随机种子/>torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
seed_torch()
测试过程
相同的权重，相同的测试数据集，结果不同，可能有以下几个原因：未设定eval()模式，因为模型中的Dropout和Batchnorm存在，导致结果不固定
Pytorch、Python、Numpy中的随机种子没有固定，可能运行时依赖的一些第三方库有随机性
数据预处理方式中含有概率
向上采样和插值函数/类的向后是不确定的(Pytorch的问题)
代码随机种子的设定
有的时候，不同的随机种子对应的神经网络结果不同，我们并不想固定随机种子，使其能够搜索最优结果。但是又想能够根据复现最优结果，所以我们需要每次运行代码都根据当前时间设定不同的随机种子，并将随机种子保存下来。
可以使用下面代码产生随机种子，用于固定Pytorch、Python、Numpy中的随机种子，你可以将这个值保存到特定的文件中，用于之后使用。1seed = int(time.time() * 256)
Python默认随机种子
首先，确定Python随机模块所在位置1
2
3
4import random
random.__file__
Out[1]: '/home/lab3/anaconda3/envs/mxq/lib/python3.5/random.py'
例如，我这里的路径为/home/zdkit/miniconda3/lib/python3.7/random.py。打开该文件，可以看到默认生成的随机种子采用如下方式：1
2
3
4
5
6
7
8if a is None:
try:
# Seed with enough bytes to span the 19937 bit
# state space for the Mersenne Twister
a = int.from_bytes(_urandom(2500), 'big')
except NotImplementedError:
import time
a = int(time.time() * 256) # use fractional seconds
也就是当没有给定随机种子的话，则此方法尝试使用OS提供的默认随机生成器，如果没有，则使用当前时间作为种子值。那么_urandom是什么呢？我们继续进行探索。1
2
3
4from os import urandom as _urandom
int.from_bytes(_urandom(2500), 'big')
Out[1]:3505608205731801289834766100333723215756299120066189061262051179363208388285372070948470205372314284582974570110...
上述代码得到了长度为2500的一串数字，这里我只给出了部分数字。这个随机数是由系统基于硬件中断给出的，硬件中断是非常随机的(它包括硬盘读取的中断、由用户键入的按键、移动鼠标等)，所以已经很接近随机了。
参考