NCCL 实践与体会

1. 介绍 

2.  NCCL

开启IB/ROCE/的环境变量设置

export NCCL_IB_DISABLE=0;export NCCL_P2P_DISABLE=1;NCCL_SHM_DISABLE=1 NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_4,mlx5_5;sendrecv_perf -b 8 -e 8192M -f 2 -g 4

你可能感兴趣的:(语言模型)