Pytorch RuntimeError: CUDNN_STATUS_INTERNAL_ERROR的解决办法

先说一下我碰到这个问题的平台环境：操作系统是CentOS，多个GPU节点，cuda 9.0。运行pytorch和tensorflow都会提示CUDNN_STATUS_INTERNAL_ERROR错误。

对于此问题，解决办法有：

1、删除掉nvidia缓存，或者还需要重启。

rm -rf ~/.nv

但这个方法不适合我的运行环境，还是会继续提示同样的问题

2、运行pytorch或tensorflow的时候，指定CUDA_CACHE_PATH路径。关于这个路径，有的说是用绝对路径，有的说只需用相对路径。

CUDA_VISIBLE_DEVICES=0 CUDA_CACHE_PATH='~/.cudacache' python main.py

为了这个问题，耗费了我好几天的时间，终于用相对路径解决了此问题。

大家用第2种方法时，如果采用绝对路径会报错，就用相对路径试试。希望能帮到大家！