torch中manual_seed的作用

torch.manual_seed(seed) – 官方文档说明：设置 (CPU) 生成随机数的种子，并返回一个torch.Generator对象。

设置种子的用意是一旦固定种子，后面依次生成的随机数其实都是固定的。

通过代码说明一下:

import torch

random_seed = 123
torch.manual_seed(random_seed)
print(torch.rand(1)) # 随机生成[0, 1)的数
print(torch.rand(1))

"""
Out:
tensor([0.2961])
tensor([0.5166])
"""

说明：上面手动设置完种子之后，调用了两次torch.rand这个API (随机生成[0, 1]的数)，可以发现输出的是两个不同的随机数，不是说已经固定种子了吗？怎么还会生成不同的随机数？实际上，准确来说，手动设置种子之后导致的结果应该是：在每次重新运行上面的程序时，得到的打印结果都是上面两个数。

在每次重新运行程序时，同样的随机数生成代码得到的是同样的结果。
打个比方：设置好种子后，第一次运行程序时，第一个生成的随机数是A，第二个生成的随机数是B， 第三个生成的随机数是C，第四个生成的随机数是D。那么，不管第二次，第三次，还是第n次运行程序时，第一个生成的随机数仍然是A，第二个生成的随机数仍然是B， 第三个生成的随机数仍然是C，第四个生成的随机数仍然是D。

ps：手动设置种子一般可用于固定随机初始化的权重值，这样就可以让每次重新从头训练网络时的权重的初始值虽然是随机生成的但却是固定的。

---

同样的道理，也可以手动设置GPU的随机数生成种子：
torch.cuda.manual_seed(seed) – 设置当前GPU的随机数生成种子
torch.cuda.manual_seed_all(seed) – 设置所有GPU的随机数生成种子