torch.gather
返回当前张量在某维扩展更大后的张量。扩展(expand)张量不会分配新的内存,只是在存在的张量上创建一个新的视图(view),一个大小(size)等于1的维度扩展到更大的尺寸。
x = torch.tensor([[1,2,3]])
x.expand(2,-1) # 第一个维度重复一次,第二个维度不变,注意,只能操作大小等于1的维度
tensor([[1, 2, 3],
[1, 2, 3]])
沿着特定的维度重复这个张量,和expand()不同的是,这个函数拷贝张量的数据。
x = torch.tensor([[1,2,3]])
x.repeat(2,2)
tensor([[1, 2, 3, 1, 2, 3],
[1, 2, 3, 1, 2, 3]])
对比一下repeat
和expand
x = torch.tensor([[1,2,3]])
y = x.expand(2,-1)
z = x.repeat(2,1)
print(x.data_ptr(), y.data_ptr(), z.data_ptr())
2434171052800 2434171052800 2434177810176
PyTorch学习笔记——repeat()和expand()区别
功能相似,但是view()
只能操作 tensor,reshape()
可以操作 tensor 和 ndarray。view()
只能用在 contiguous
的 variable 上。如果在 view 之前用了 transpose
, permute
等,需要用 contiguous()
来返回一个 contiguous copy。 view() 操作后的 tensor 和原 tensor 共享存储。
pytorch 中的 torch.reshape()
大致相当于 tensor.contiguous().view()
。
x = torch.tensor([[1,2,3]])
x.reshape(3,1)
>>>
tensor([[1],
[2],
[3]])
x.view(3,1) # x.view(*[3,1])
>>>
tensor([[1],
[2],
[3]])
两者都是实现维度之间的交换,transpose 只能一次转换两个维度,permute 可以一次转换多个维度,permute 可以通过 transpose 组合的形式实现。在卷积神经网络中,cross-channel max pooling 就用到了这类变换。
x = torch.tensor([[1,2,3]])
y = x.expand(2,-1)
z = x.repeat(2,1)
print(x.is_contiguous(), y.is_contiguous(), z.is_contiguous())
>>>True False True
a = z.permute(1,0)
print(a.is_contiguous())
>>>False
b = z.permute(1,0).contiguous()
b.is_contiguous()
>>>True
pytorch中reshape()、view()、permute()、transpose()总结
a = torch.ones(2,1,3,4) # 2为batch,1*5
b = torch.ones(5,4,2)
torch.matmul(a,b).size()
>>>torch.Size([2, 5, 3, 2])
torch.matmul()用法介绍
向量外积,输入两个向量
a = torch.tensor([1,2,3])
b = torch.tensor([1,2,3,4])
torch.ger(a,b)
Out[15]:
tensor([[ 1, 2, 3, 4],
[ 2, 4, 6, 8],
[ 3, 6, 9, 12]])