docker 多线程(multiprocessing)报错:leaked semaphores 以及 bus error (core dumped)

在docker容器中运行多线程程序时,出现了bus error以及leaked semaphores 警告:

/opt/conda/lib/python3.6/multiprocessing/semaphore_tracker.py:143: UserWarning: semaphore_tracker: There appear to be 3 leaked semaphores to clean up at shutdown
  len(cache))
Bus error (core dumped)

原因是在docker中运行,shm 设置太小,导致share memory 不够。

不设置–shm-size时,docker给容器默认分配的shm大小为64M。
docker 多线程(multiprocessing)报错:leaked semaphores 以及 bus error (core dumped)_第1张图片
设置–shm-size=16G(不一定要这么大,但是单位为b,k,m或g),确保程序在容器中能正常运行,再次查看shm的占用,达到了115M,超过了之前默认分配的shm大小。
docker 多线程(multiprocessing)报错:leaked semaphores 以及 bus error (core dumped)_第2张图片

你可能感兴趣的:(Pytorch,docker)