torch.backends.cudnn.benchmark = true的作用

在很多情况下我们都能看到代码里有这样一行：

torch.backends.cudnn.benchmark = true

大部分情况下，设置这个 flag 可以让内置的 cuDNN 的 auto-tuner 自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。

一般来讲，应该遵循以下准则：

• 如果网络的输入数据维度或类型上变化不大，设置 torch.backends.cudnn.benchmark = true

可以增加运行效率；

• 如果网络的输入数据在每次 iteration 都变化的话，会导致 cnDNN 每次都会去寻找一遍最优配置，这样反而会降低运行效率。

cuDNN使用非确定性算法，并且可以使用torch.backends.cudnn.enabled = False来进行禁用。如果设置为torch.backends.cudnn.enabled =True，说明设置为使用非确定性算法。

所以我们经常看见在代码开始出两者同时设置：

torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True

补充知识：

cuDNN 是英伟达专门为深度神经网络所开发出来的 GPU 加速库，针对卷积、池化等等常见操作做了非常多的底层优化，比一般的 GPU 程序要快很多。在使用 cuDNN 的时候，torch.backends.cudnn.benchmark 模式是为 False。哪些因素会影响到卷积层的运行时间：

1、首先，当然是卷积层本身的参数，常见的包括卷积核大小，stride，dilation，padding ，输出通道的个数等；

2、其次，是输入的相关参数，包括输入的宽和高，输入通道的个数等；

3、最后，还有一些其他的因素，比如硬件平台，输入输出精度、布局等等。

设置 torch.backends.cudnn.benchmark=True 将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。适用场景是网络结构固定（不是动态变化的），网络的输入形状（包括 batch size，图片大小，输入的通道）是不变的，其实也就是一般情况下都比较适用。反之，如果卷积层的设置一直变化，将会导致程序不停地做优化，反而会耗费更多的时间。

参考文章：

1、https://blog.csdn.net/Melody_0119/article/details/89467034

2、https://www.jb51.net/article/180900.htm

3、https://zhuanlan.zhihu.com/p/73711222