实时监控gpu

Linux 监控服务器GPU状态_linux监控gpu_LiQiang33的博客-CSDN博客

当out of memory时,修改环境变量:

set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:50

参考文章:通过设置PYTORCH_CUDA_ALLOC_CONF中的max_split_size_mb解决Pytorch的显存碎片化导致的CUDA:Out Of Memory问题_梦音Yune的博客-CSDN博客

一文读懂 PyTorch 显存管理机制 

你可能感兴趣的:(人工智能)