pytorch张量维度的扩增、压缩、广播

1，张量的扩增和压缩

对于pytorch张量，有一个比较常用的操作就是沿着某个方向对张量做扩增和对张量进行压缩，这两种情况与张量的大小等于1的维度有关，对于一个张量来说，可以任意添加一个维度，该维度的大小为，而不改变张量的数据，因为张量的大小等于所有维度大小的乘积，那些为1的维度不改变张量的大小。具体见下面代码：

import torch

a = torch.rand(3, 4) # 随机生成一个3*4的张量
print(a)
print(a.shape)

b = a.unsqueeze(-1) # 扩增最后一个维度，生成3*4*1的张量
print(b)
print(b.shape)

c = a.unsqueeze(-1).unsqueeze(-1) # 继续扩增最后一个维度，生成3*4*1*1的张量
print(c)
print(c.shape)

d = torch.rand(1,3,4,1) # 随机生成一个1*3*4*1的张量，其中有两个维度大小为1
print(d)
e = d.squeeze()  # 压缩所有大小为1的维度,成为了3*4的张量
print(e)

2，张量的广播

在张量的运算中会碰到一种情况，即两个不同维度张量之间做四则运算，且两个张量某些维度相等。显然，如果按照张量的四则运算的定义，两个不同维度的张量不能进行四则运算。为了能够让它们进行计算，首先需要把维度数目比较小的张量扩增到和维度数目比较大的张量一致。具体见下面代码：

d1 = torch.randn(3, 4, 5)  # 定义3*4*5的张量1
print(d1)
d2 = torch.randn(3, 5)  # 定义3*5的张量2
print(d2)
d2 = d2.unsqueeze(1)  # 扩增第一个维度，将张量2的形状变为3*1*5
print(d2)
d3 = d1 + d2  # 广播求和，最后结果为3*4*5的张量,相当于是将d2沿着第二个维度复制4次，使之成为3*4*5的张量，这样与d1就能进行元素一一对应的计算
print(d3)

Done！！！