torch.softmax与torch.sum 的dim用法理解

torch.softmax与torch.sum 的dim意义相同

torch.sum

tensor.sum(dim=0） 是将tensor的size的[dim0,dim1]中，dim0变成1， 其他维度不变，即求和后变成[1,dim1]， 换种意义上说就是对tensor 的每一列进行了求和，选其他维时类似。

torch.softmax

从其分母形式，一定意义上说也可以把softmax 当成是一种特殊形式的求和。所以与sum的维数意义一致，softmax(dim=1)，就是相当于sum(dim=1）也就是每一行求和，也就是说对tensor 的行进行归一化处理

a=torch.randn(2,3)
a
tensor([[ 1.2173,  0.1601, -0.1020],
        [-0.6460, -2.7915, -1.4950]])
a.sum(0) # dim=0相当于size=[2,3]变成size=[1,3]
tensor([ 0.5713, -2.6314, -1.5971])

torch.softmax(a,dim=0)
tensor([[0.8657, 0.9503, 0.8011],
        [0.1343, 0.0497, 0.1989]])
torch.softmax(a,dim=0).sum(0)
tensor([1., 1., 1.]) # 也就是对列进行了归一化