python之os.environ模块学习
这篇文章已经介绍了很多个os.environ的keys,我在这里补充几个作者没有提到的。
‘Rank’
- 进程号rank理解:在多进程上下文中,我们通常假定rank 0是第一个进程或者主进程,其它进程分别具有0,1,2不同rank号,这样总共具有4个进程。
‘LOCAL_RANK’
- 进程内,GPU 编号,非显式参数,由 torch.distributed.launch 内部指定。比方说, rank = 3,local_rank = 0 表示第 3 个进程内的第 1 块 GPU。
‘WORLD_SIZE’
‘SLURM_PROCID’
那么这些keys的含义是如何知道的呢?(官方文档里没有解释),卖个关子:也许你看了这篇文章就会懂了Python之os.environ学习(狗头)