【pytorch】RuntimeError: cublas runtime error 或者 RuntimeError: cublas runtime error

跑pytorch的代码,遇到一个错误:
RuntimeError: cublas runtime error : resource allocation failed at /pytorch/aten/src/THC/THCGeneral.cpp:411.
官方在github的issue里回答过这个问题,基本上只要更新就能解决,或者加一句代码。链接。

然而我更新以后,错误换了个马甲:
RuntimeError: cublas runtime error : library not initialized at /opt/conda/conda-bld/pytorch_1549630534704/work/aten/src/THC/THCGeneral.cpp:250

花了好几个小时研究问题,无解。后来看到有人说pytorch在cuda上的stack trace做得不好,所以放在cpu下才能看到正确的报错。于是改到cpu跑,发现问题是数组下标越界……wtf

cuda版本的报错还是准的,一大片报错里反反复复都是:
/opt/conda/conda-bld/pytorch_1549630534704/work/aten/src/ATen/native/cuda/IndexKernel.cu:53: lambda [](int)->auto::operator()(int)->auto: block: [3151,0,0], thread: [31,0,0] Assertion index >= -sizes[i] && index < sizes[i] && "index out of bounds" failed.
然而最后几句定位到我自己写的代码就出现了位置偏差,找半天也找不到问题所在=_=

你可能感兴趣的:(pytorch)