pytorch scatter方法 在后向传播中遇到的问题

代码：

r=x_windows.scatter(dim=1,index=topk_index,src=attn_windows)

• topk_index的shape为[2, 32, 1, 1, 1]
• attn_windows的shape为[2, 32, 7, 7, 96]
• x_windows的shape为[2, 64, 7, 7, 96]

该方法的作用是将attn_windows放回原来的位置中。
模型训练过程中，前向传播过程不会报错，但是反向传播过程会报下面错误

RuntimeError: Function ScatterBackward0 returned an invalid gradient at index 1 - got [2, 32, 1, 1, 1]
but expected shape compatible with [2, 32, 7, 7, 96]

解决方法：
将topk_index的shape变成和attn_windows一样。

思考

其实这种问题解决起来并不难，但是在寻找报错代码段时花费了很长时间，因为错误出现在反向传播过程中，错误位置提示并不多。
其实关键点在ScatterBackward0,如果了解反向传播的函数很容易想到问题出现在scatter方法上。

ScatterBackward0 是 PyTorch 中的一个函数，用于在反向传播时计算张量的梯度。具体来说，它是 PyTorch 中的 Scatter 操作的反向传播实现之一。

类似的还有：AddBackward0 是 PyTorch 中用于实现张量加法操作的反向传播函数之一。

在 PyTorch 中，每个张量操作都有对应的反向传播函数，用于计算该操作对输入张量的导数，并将导数传递回计算图中的其他节点。