[linux] warning:NCCL backend in DeepSpeed not yet implemented

NCCL backend in DeepSpeed not yet implemented · Issue #615 · microsoft/DeepSpeedExamples · GitHub

据我所知。Deepspeed 尚未实现 NCCL,但 Deepspeed 将使用由 NCCL 初始化的 torch.distribute。
简而言之,deepspeed 没有实现 NCCL,但 torch 实现了。

你可能感兴趣的:(linux,python)