关于在PyTorch中使用cudnn.benchmark=True在PyTorch中，cudnn.benchmark=True是一个参数，用于启用或禁用cuDNN的基准测试模式。

使用cudnn.benchmark和cudnn.deterministic在很多情况下我们都能看到代码里有这样一行：torch.backends.cudnn.benchmark=true而且大家都说这样可以增加程序的运行效率

在代码前加设torch.backends.cudnn.benchmark=True可以提升训练速度。会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。但是由于计算中有随机性，每次的网络结果可能会略有差异torch.backends.cudnn.deterministic=True固定cuda的随机数种子，每次返回的卷积算法将是确定的。可以避免b

问题在很多情况下我们都能看到代码里有这样一行：torch.backends.cudnn.benchmark=true而且大家都说这样可以增加程序的运行效率。那到底有没有这样的效果，或者什么情况下应该这样做呢？解决办法总的来说，大部分情况下，设置这个flag可以让内置的cuDNN的auto-tuner自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。一般来讲，应该遵循以下准则：如果网络的输

pytorch设置GPUidimporttorch.backends.cudnnascudnnos.environ["cuda_visible_devices"]="3"#用第四块gpu跑cudnn.benchmark

随机种子点通过设置随机种子点保证实验结果的可复现性cudnn.deterministictorch.backends.cudnn.deterministic=True的话，每次返回的卷积算法将是确定的，即默认算法cudnn.benchmark

在detect.py文件内缺少cudnn.benchmark=TruePytorch版本错误解决办法修改权重在else下面插入cudnn.benchmark=True修改Torch

xxxxxxxxxxUnexpectedkey(s)instate_dict:xxxxxxxxxx报错原因：在模型训练时有加上：【可以加速训练速度】model=nn.DataParallel(model)#cudnn.benchmark

Missingkey(s)instate_dict:Unexpectedkey(s)instate_dict:解决：在模型参数被加载到模型前加下面的语句：model=nn.DataParallel(model)#cudnn.benchmark

解决方案1：model=torch.nn.DataParallel(model)cudnn.benchmark=Tr

在detecor.py文件中，加入cudnn.benchmark=True就可以了。

问题在很多情况下我们都能看到代码里有这样一行：1torch.backends.cudnn.benchmark=true而且大家都说这样可以增加程序的运行效率。那到底有没有这样的效果，或者什么情况下应该这样做呢？解决办法总的来说，大部分情况下，设置这个flag可以让内置的cuDNN的auto-tuner自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。一般来讲，应该遵循以下准则：如果网络的

用排除法查出是main.py中cudnn.benchmark=True导致。开关具体用法如下：benchmark的作用。下次GPU显存溢出可尝试修改。

RuntimeError:cudaruntimeerror(11):invalidargumentat/pytorch/aten/src/THC/THCGeneral.cpp:383查到的解决方法：cudnn.benchmark

文章目录[隐藏]1问题2解决办法问题在很多情况下我们都能看到代码里有这样一行：1torch.backends.cudnn.benchmark=true而且大家都说这样可以增加程序的运行效率。那到底有没有这样的效果，或者什么情况下应该这样做呢？解决办法总的来说，大部分情况下，设置这个flag可以让内置的cuDNN的auto-tuner自动寻找最适合当前配置的高效算法，来达到优化运行效率的问题。一般来

：别人说在load这个checkpoint之前要加上net=torch.nn.DataParallel(net,device_ids=range(torch.cuda.device_count()))cudnn.benchmark

解决方案1：model=torch.nn.DataParallel(model)cudnn.benchmark=Tr