torch.gather函数的理解

建议先阅读官方文档，拿笔跟着给出的公式推导一次。

torch.gather官方文档

gather函数的定义为：
torch.gather(input, dim, index, *, sparse_grad=False, out=None) → Tensor
不常用的暂时不关注，于是函数常使用的样子如下：
torch.gather(input, dim, index)
函数的大致功能，给出input，根据dim和index确认从input中取出的数据内容，和最终输出的shape
1.确定输出的shape，输出的shape跟index的shape一致
例如index是一个2x3的tensor,那么输出就是一个2x3的tensor
2.确定输出的tensor的内容：根据input,dim，index三者确定
dim确定的是在input中取数据的时候，那个维度是从index中取数据来确定索引，而不是直接顺序索引：
举例
out[i][j][k] = input[index[i][j][k]][j][k] # if dim == 0
out[i][j][k] = input[i][index[i][j][k]][k] # if dim == 1
out[i][j][k] = input[i][j][index[i][j][k]] # if dim == 2

out[i][j] = input[index[i][j][k]][j] # if dim == 0
out[i][j] = input[i][index[i][j][k]] # if dim == 1

其实这个函数一般是结合其他的函数使用的，比如torch.max，torch.min。比如调用max函数如下：
torch.max(a,dim=dim_num)
那么此时返回的是一个tuple，包含了value和index_list
那么有value = torch.gather(a, dim=dim_num, index=index_list)