关于贫僧在使用PyTorch时遇到了runtime error(59):device-side assert triggered at XXX这样神奇的BUG的事

标题里的XXX是省略之后的文字的意思，不是真的“XXX”。

某天贫僧在训♂练模型的时候遇到了这个错误提示。其实这个错误提示很模糊（非常模糊），基本上是没有办法定位到出错的地方的，在查找资料之后发现了一下解决方法（在这里总结下）：

1. 改为在CPU上运行

这是因为当模型在GPU上运行的时候其实是没办法显示出真正导致错误的地方的（按照PyTorch Dev的说法：“Because of the asynchronous nature of cuda, the assert might not point to a full correct stack trace pointing to where the assert was triggered from.”即这是CUDA的特性，他们也没办法），所以可以通过将模型改成在CPU上运行来检查出到底是哪里出错（因为CPU模式下会有更加细致的语法/程序检查）。但是这个方法通常是不可行的，因为可能训练的网络特别大，转到CPU上训练的话可能会花费很长时间，那么就应该尝试下面的方法。

2. 加入一行代码/命令启动脚本时在命令前加点料

词穷，不晓得该用除了“加点料”之外的什么词（还好语文老师早已多年未亲近，其中可能有的再也无法相见，随缘）。

回到正题，命令是：

CUDA_LAUNCH_BLOCKING=1 python script.py

如果读者正在使用命令来启动脚本的话可以试试用上面这个方式来启动脚本，然后看看报错信息，理论上可以看到更加准确的报错信息。

但是如果读者像贫僧一样是个Jupyter爱好者呢？那么就在各种import之后加入这一行就行了：

import os
os.environ['CUDA_LAUNCH_BLOCKING'] = "1"

这样基本上就可以定位到出错的地方。

如果还不行，就要依靠经验了：

经验判定法

检查Label是不是从0开始的

检查下Label是不是从0开始的（贫僧没有遇到这个问题，具体看一看RuntimeError: cuda runtime error (59) : device-side assert triggered when running transfer_learning）。

如果使用了Embedding层，检查参数

首先看下Embedding层的参数，看到那个num_embeddings了吗？要设置成你的字典的大小，但是要记住，一定是vocab_size + 1，而不是vocab_size，即要设置为字典大小+1。

嗯。。。基本上就是这样，其实还有别的经验，但是贫僧没有找到（其实您老根本就是懒得找吧），所以就这样吧。

杂谈

近日，贫僧调试代码的时候不时遇到了“cuDNN error: CUDNN_STATUS_EXECUTION_FAILED”错误。这个错误其实挺奇怪的，有时最简单的处理方法就是重新运行代码，这个错误会自己消失。可能与jupyter的内存管理机制有关，具体原因未知。

参考

RuntimeError: cuda runtime error (59) 官方PyTorch论坛上的问题，其实读者如果遇到问题的话也可以试试在上面提问（不要害羞，他们应该不会穿过网线来打你的，当然，在这方面贫僧可不敢做任何担保）
Debugging CUDA device-side assert in PyTorch这篇提到了Jupyter中怎么通过加入os.environ['CUDA_LAUNCH_BLOCKING'] = "1"来找哪里出了错
RuntimeError: cuda runtime error (59) : device-side assert triggered when running transfer_learning
pytorch runtime error(59):device-side assert triggered at XXX这篇则是关于词表（Embedding层）设置出错导致了这个bug