Pytorch为什么总要设置随机种子

Pytorch为什么总要设置随机种子

在pytorch中总能看到以 第一行有个设置随机种子的函数？它到底有啥作用？

def set_seed(seed=1):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)

参考博客：
https://blog.csdn.net/qq_24224067/article/details/106451064

1.随机种子是什么？

随机种子是针对 随机方法 而言的。

随机方法：常见的随机方法有 生成随机数，以及其他的像 随机排序 之类的，后者本质上也是 基于生成随机数来实现的。在深度学习中，比较常用的随机方法的应用有：网络的随机初始化，训练集的随机打乱 等。

举个例子，如果我们简单调用 random.random() 来生成随机数，那么每一次生成的数都是随机的。但是，当我们预先使用 random.seed(x) 设定好随机种子，基于这个种子来执行随机算法，这个时候我们 得到的随机数序列是相同的。

随机种子的工作原理（计算机底层是如何实现生成随机数的）？

虽然计算机很擅长做精确计算，但是它们处理随机事件时非常不靠谱。
实际上，计算机中的所有随机数都是 伪随机数，是靠 随机数算法 生成的，大多数随机数算法都在努力创造一种 呈均匀分布且难以预测的 数据序列。
所有的随机数算法在初始化阶段都需要一个 随机“种子”（random seed），完全相同的种子每次将产生相同的“随机”数序列。如果我们没有手动进行显式设置，系统则 默认根据时间来选择这个值，此时每次生成的随机数因时间差异而不同。

2.随机种子的一些使用特性

① 随机种子的取值范围？
可以是任意数字，如10，1000

② 随机种子的作用范围

np.random.seed(0)
print(np.random.rand(3))
print(np.random.rand(3))

输出:

[0.5488135  0.71518937 0.60276338]
[0.54488318 0.4236548  0.64589411]

再次运行程序，会输出同一组随机数:

[0.5488135  0.71518937 0.60276338]
[0.54488318 0.4236548  0.64589411]

想要在同一个程序中产生同一组随机数，需要在下一个函数前设置一个相同的随机种子

np.random.seed(0)
print(np.random.rand(3))
np.random.seed(0)
print(np.random.rand(3))

输出

[0.5488135  0.71518937 0.60276338]
[0.5488135  0.71518937 0.60276338]

3.为什么需要随机种子？

打个比方，在机器学习，深度学习算法中，我们往往会用到随机向量，随机矩阵，这使得我们每次运行算法计算出来的结果是不一致的，会为我们调试算法带来麻烦。

基于随机种子来实现代码中的随机方法，能够 保证多次运行此段代码能够得到完全一样的结果，即保证结果的 可复现性，这样 别人跑你的代码的时候也能够很好地复现出你的结果。

4.PyTorch 中随机种子的设置方法

【参考资料】Pytorch设置随机数种子，使训练结果可复现。
在使用 PyTorch 时，如果希望通过设置随机数种子，在 GPU 或 CPU 上固定每一次的训练结果，则需要在程序执行的开始处添加以下代码：

def setup_seed(seed):
     torch.manual_seed(seed)
     torch.cuda.manual_seed_all(seed)
     np.random.seed(seed)
     random.seed(seed)
     torch.backends.cudnn.deterministic = True
# 设置随机数种子
setup_seed(20)
# 预处理数据以及训练模型
# ...
# ...