fatal error: ATen/cuda/DeviceUtils.cuh: No such file or directory

在编译apex的时候，遇到以下报错。
查询百度无果，查询谷歌一次得到结果。还是那句话，有问题找谷歌，别找百度。

具体原因：缺少CUDA头文件CUDAGraphsUtils.cuh。
而这个文件是从torch==1.8.0a后开始加入的，所以如果你的pytorch版本是1.7、1.6、1.5什么的那肯定没有。
解决方法就是回滚apex的版本。
apex不是软件，回滚需要通过git操作来进行：

git reset --hard 3fe10b5597ba14a748ebb271a6ab97c09c5701ac

在apex根文件夹内，运行以上指令，再执行编译即可。

附上apex下载并编译指令：

git clone https://github.com/NVIDIA/apex.git
cd apex
python setup.py install --cuda_ext --cpp_ext