模型预测过程中：cuda out of memory

问题背景：

我用yolov7来检测logo，并且想把检测结果写到txt中作为标注文件，所以重写了detect.py，然后对目录下的图片重复调用detect函数。结果就是每次预测了1000张左右的图片后（文件夹一共有1w+图片）就会报错 cuda out of memory

解决过程：

首先，我从脚本启动开始不断在终端用 nvidia-smi 查看GPU使用情况，发现对应进程的显存占用随着检测过的图片数量而增加，最终爆炸。

我每次检测图片之前都会执行 to(device)，所以显存占用会逐渐增加。那么解决方法就是释放掉被占用的显存。我先试了在每次检测后执行 torch.cuda.empty_cache()，然后再次运行脚本，发现还是爆炸。而且看了原代码，人家也没用这个命令，那么问题出在哪里呢？

后来百度之后找到了问题所在，原代码在检测前有一行代码：with torch.no_grad():

这个no_grad()在这里不是很重要，但是这个with很关键，就像with open() as f: 之后会自动关闭文件一样，加了这行代码之后，后面的代码运行完了它就会释放一次占用的资源！

好了，这不是一下子就说得通了！我确实是没有这行代码。

加上这句之后，问题顺利解决！

再查看GPU显存占用情况就会发现它会周期性地恢复到一个最低水平。

解决方法总结：

在调用检测的代码段之前加上 with torch.no_grad():