[源码解析] PyTorch 分布式(11) ----- DistributedDataParallel 之 构建Reducer和Join操作1
1.2参数说明调用的parameters举例如下,parameters[0]就是rank0上模型的parameters,可以看到其只有[0]元素有意义,这个[0]原始本身包括20个元素:parameters={list:1}0={list:4}0={Parameter:10}Parametercontaining:\ntensor([[-4.0381e-02,3.8828e-02,1)1={Par