Warning: Grad strides do not match bucket view strides. 可能影响DDP性能

1. transpose或permute造成内存不连续。

# before
output_tensor = in_tensor.transpose(1, 3)

# after
output_tensor = in_tensor.transpose(1, 3).contiguous()

2. 切片操作造成内存不连续。

# before
input_tensor = input_tensor[:, :H, :W, :]

#after
input_tensor = input_tensor[:, :H, :W, :].contiguous()

你可能感兴趣的:(python,深度学习,开发语言)