显存充足，但提示CUDA out of memory

详细错误如下：

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch)

认真阅读这个错误后，就去查看了GPU 1，发现显存充足：

但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉后，再nvidia-smi，这时显示的已经是程序退出时的结果了，但我在程序运行的时候，再查看，发现：

这里显示的才是运行过程中某个时间点的显存

不过最后尝试把batch_size不断调小，调到10，仍然不行，猜想是数据集太庞大，可能要试试使用from horovod.torch import hvd了，明天试试~