pytorch学习笔记（一）
一、索引与切片
1.index_select：
给定如下一个a：
a = np.arange(2*2*2*2)
a = torch.from_numpy(a)
a = torch.reshape(a, [2,2,2,2])
a
out:
tensor([[[[ 0, 1],
[ 2, 3]],
[[ 4, 5],
[ 6, 7]]],
[[[ 8, 9],
[10, 11]],
[[12, 13],
[14, 15]]]], dtype=torch.int32)
# 对a的第0个维度进行索引，选择第0个维度索引为1的数据
b = a.index_select(0, torch.tensor([1]))
b
out:tensor([[[[ 8, 9],
[10, 11]],
[[12, 13],
[14, 15]]]], dtype=torch.int32)
2.masked_select
给定如下x：
x = torch.rand(3, 4)
x
out:tensor([[0.4960, 0.0145, 0.9789, 0.6595],
[0.2666, 0.2241, 0.1380, 0.3301],
[0.9281, 0.8387, 0.1143, 0.2890]])
# 筛选出x中大于0.5的元素，得到掩码mask
mask = x.ge(0.5)
mask
out:tensor([[0, 0, 1, 1],
[0, 0, 0, 0],
[1, 1, 0, 0]], dtype=torch.uint8)
# 根据mask从x中取出元素
b = torch.masked_select(x, mask)
b
out:tensor([0.9789, 0.6595, 0.9281, 0.8387])
3. select from flatten index
# 建立一个2 * 3的tensor
src = torch.tensor([[1,2,3], [4,5,6]])
src
out:tensor([[1, 2, 3],
[4, 5, 6]])
# 将2 * 3的tensor flatten之后选出其中的第0， 2， 4个元素
b = torch.take(src, torch.tensor([0, 2, 4]))
b
out:tensor([1, 3, 5])
二、维度变换
1. view(reshape)
# 假如a表示 batch * C * W * H
a = torch.rand(32, 3, 28, 28)
a.shape
out: torch.Size([32, 3, 28, 28])
# 将a打平，即将每张图片的CWH通道合并在一起
b = a.view(32, 3 * 28 * 28)
b.shape
out:torch.Size([32, 2352])
# 将打平的数据恢复到原来的维度
print(torch.equal(b.view(32, 3, 28, 28), a))
out: True
2.unsqueeze
# 在第0维前面插入一个维度
In [5]: a.unsqueeze(0).shape
Out[5]: torch.Size([1, 32, 3, 28, 28])
# 在最后一维后面插入一个维度
In [6]: a.unsqueeze(-1).shape
Out[6]: torch.Size([32, 3, 28, 28, 1])
# 给f添加一个bias，需要先将b的维度增加到与f一致（此操作并未完成。。。）
In [7]: f = torch.rand(4, 32, 14, 14)
In [8]: b = torch.rand(32)
In [9]: b = b.unsqueeze(1).unsqueeze(2).unsqueeze(0)
In [10]: b.shape
Out[10]: torch.Size([1, 32, 1, 1])
3.squeeze
# 此处将b中通道数为0的维度全部“挤压”
In [11]: b.squeeze().shape
Out[11]: torch.Size([32])
# 然而通道数为32并无法挤压，但是也不会报错
In [12]: b.squeeze(1).shape
Out[12]: torch.Size([1, 32, 1, 1])
4.expand
# 继续之前未完成的操作，将b中各维度的通道数扩展到与f一致
In [13]: b.shape
Out[13]: torch.Size([1, 32, 1, 1])
In [14]: f.shape
Out[14]: torch.Size([4, 32, 14, 14])
In [15]: b.expand(4,32,14,14).shape
Out[15]: torch.Size([4, 32, 14, 14])
5.repeat
# 使用repeat操作也可以完成扩展
# repeat与expand的不同之处是，repeat会主动的对数据进行复制，占用了较多内存，而且执行速度慢
# repeat的参数的意义是拷贝的次数
In [16]: b.shape
Out[16]: torch.Size([1, 32, 1, 1])
In [17]: b.repeat(4, 1, 4, 4).shape
Out[17]: torch.Size([4, 32, 4, 4])
6.transpose
# a : BCWH
In [19]: a.shape
Out[19]: torch.Size([32, 3, 28, 28])
# BCWH -> BHWC
In [20]: a.transpose(1, 3).shape
Out[20]: torch.Size([32, 28, 28, 3])
# 将a通道交换并将其flatten
a.transpose(1, 3).contiguous().view(32, 3*28*28).shape
Out[7]: torch.Size([32, 2352])
# 一顿操作，将BCWH->BHWC之后将其打平，再将其恢复到BHWC之后再变为BCWH
a2 = a.transpose(1, 3).contiguous().view(32, 3*28*28).view(32, 28, 28, 3).transpose(1,3)
a2.shape
Out[9]: torch.Size([32, 3, 28, 28])
a.shape
Out[10]: torch.Size([32, 3, 28, 28])
# 最后可以看到是能恢复到之前的样子，这样便于变化操作之后再恢复到原样
print(torch.equal(a, a2))
Out[11]:True
7.permute
# 实际中其实是需要将BCWH转换为BWHC,如果用transpose需要两次操作，这里可以用permute方便实现
a.permute(0, 2, 3, 1).shape
Out[12]: torch.Size([32, 28, 28, 3])