【pytorch】.mul .add_ 和直接 + * 有什么区别

优点：in-place 操作节省内存空间

.mul() 和 .add_() 是 PyTorch 中的 in-place 操作，这意味着它们会直接在原变量上进行操作，而不会返回新的变量。相反，* 和 + 是 Python 的运算符，它们会返回新的变量，不会改变原变量的值。

import torch
a = torch.ones(2, 2)
b = a.mul(2)
print(a)  # tensor([[2., 2.],
             [2., 2.]])
print(b)  # tensor([[2., 2.],
             [2., 2.]])

a = torch.ones(2, 2)
b = a * 2
print(a)  # tensor([[1., 1.],
             [1., 1.]])
print(b)  # tensor([[2., 2.],
             [2., 2.]])

对于大规模的数据处理，使用 in-place 操作可以节省内存空间。

缺点：无法 broadcast

PyTorch 的 in-place 操作 .mul() 和 .add_() 不支持 broadcasting。如果尝试将一个维度更小的张量与一个维度更大的张量相乘或相加，会引发错误。

而 Python 的运算符 * 和 + 支持 broadcasting。

import torch
a = torch.ones(2, 2)
b = torch.ones(2)
c = a + b  # This will broadcast b to be [[1, 1], [1, 1]]
print(c)  # tensor([[2., 2.],
             [2., 2.]])

因此，希望对不同维度的张量执行运算时，可以考虑使用 Python 的运算符 * 和 +。