Pytorch中DDP :The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use)

一. Pytorch中DDP error

RuntimeError: The server socket has failed to listen on any local network address. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use). The server socket has failed to bind to 0.0.0.0:29500 (errno: 98 - Address already in use).
错误

二. 解决方法

2.1 问题原因

由于中途关闭DDP运行,从而没有释放DDP的相关端口号,显存占用信息,当下次再次运行DDP时,使用的端口号是使用的DDP默认的端口号,也即是29500,因此造成冲突

2.2 方法1

手动释放显存,kill -9 pid 相关显存占用的进程,关闭所有这个服务器打开的终端,从而就能释放掉前一个DDP占用的显存和端口号

2.3 方法2

在命令行中在启动DDP命令中(在xx.py前)手动加上一句"_ _master_port=xxxxx",如下图所示(注意需要释放前一个DDP占用的显存,可能会导致显存不足):

python -m torch.distributed.launch --nproc_per_node=8 --master_port=25641 main_task_retrieval.py

命令

3.停止DDP最快速最方便的办法:

直接在nvidia-smi命令中kill掉一个相关进程,就能强迫程序停止DDP,从而DDP就会自动释放掉相应的端口号和占用的显卡资源,或者直接在命令行Ctrl+C强制中断程序,也可以直接使用Ctrl+Z快捷键强制中断程序,只不过此时没有释放DDP的端口号,需要你手动改一下DDP需要占用的端口号。

你可能感兴趣的:(pytorch,DDP,显存,多卡并行训练)