_gather(tensors, dim, destination) RuntimeError: Input tensor at index 1 has invalid
在pytorch的分布式训练中,每个卡都会有一个模型(replicate步骤),以及分配的输入(scatter步骤),最后再把每个模型的输出合并(gather步骤),如果每个模型输出的维度不一致的话,是无法gather的。因此,查看模型return的值,确实是在根据场景实时变化的。其会根据各个样本中具体场景而发生变化,而不同的卡上输出tensor维度不一样,所以无法gather。报错虽然出现在底层