什么是worker;什么是 “单机单worker”、 “单机多worker”、“单机多卡”

1. worker 是一个分布式概念,在(nts)等通用的含义是 :一个CPU和一个GPU 组成一个worker 搭配用于训练

2. 单机单worker(简称"单机"): 一个CPU 一个 GPU一起配合进行训练
    单机多卡:一个CPU 多个 GPU一起配合进行训练
    多机多worker(简称“多机”):多个worker 一起训练,每个worker还是一个CPU配合一个GPU训练

3. nts 中的MPI是用于连接多个worker的 ~

你可能感兴趣的:(名词解释,worker)