pytorch 基本操作（一）——变化tensor

intro

目前深度学习的主流框架分为两种，一个是tensorflow一个是pytorch，当然还有caffe，theano，keras这些框架，这些框架广泛用于计算机视觉、语音识别、nlp等领域。

pytorch是一个年轻的框架，主流的教程一开始就介绍前后传播的概念，对初学者十分不友好，这里我大概介绍一下pytorch的基本操作，包括合并，切片，基本的统计方法。

具体函数大概有index、expand等，其实tensor大部分操作与numpy相似，numpy的操作就不一一细讲了，我们就从torch的语法开始讲起。

tensor

首先介绍一下tensor，中文名叫张量，学过线性代数的同学可以知道数据可以分为许多的维度，在这里tensor可以是one-dimension到n-dimension。

我们先用torch建立一个简单的二维矩阵。

import torch
matrix = torch.tensor([[1,-1],[1,-1]])
matrix

可以得到一个2x2的矩阵。用shape函数查看一下矩阵的形状。

matrix.shape
# out:torch.Size([2, 2])

此外，可以用reshape函数(或者view)来改变他的形状，比如我们把matrix改成4x1维的矩阵。

matrix.reshape(4,1)
matrix

# out：
tensor([[ 1],
        [-1],
        [ 1],
        [-1]])

同理你可以创建n-dimension的tensor。
比如我要创建一个3x4x5的元素全是1的tensor。

torch.ones(3,4,5)
#out:
tensor([[[1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.]],

        [[1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.]],

        [[1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.],
         [1., 1., 1., 1., 1.]]])

squeeze

如何在tensor里面修改维度呢，这是就要依靠squeeze相关的函数。

首先，创建一个一维向量。
(rand函数是随机生成一个0-1的均匀分布)

a = torch.rand(2)
a.shape
#out：
torch.Size([2])

用unsqueeze函数来新增一个维度

a.unsqueeze(0).shape
# out:
torch.Size([1, 2])

a.unsqueeze(1).shape
#out
torch.Size([2, 1])

用squeeze来减少维度，这个维度的数量只能为一。

b = torch.rand(32,1,1)
b.shape
# out:
# torch.Size([32, 1, 1])

b.squeeze().shape
# out: 
# torch.Size([32])

此外可以用expand函数和repeat函数来拓展tensor的维度。

a = torch.rand(4, 32, 14, 14)
b = torch.rand(1, 32, 1, 1)
b.shape
# out:
torch.Size([1, 32, 1, 1])

b.expand(4,32,1,1).shape
#out:
torch.Size([4, 32, 1, 1])

b.repeat(4,1,1,1).shape
#out：
torch.Size([4, 32, 1, 1])

transpose

熟悉numpy的同学肯定知道，矩阵里最重要运算就是transpose，在tensor里可以利用transpose来改变某两个维度的位置，在二维tensor中就与矩阵transpose相同。

a = torch.rand(3,4)
a.t().shape
# out:
torch.Size([4, 3]

a = torch.rand(4,3,32,32).transpose(1,3).shape
# out:
torch.Size([4, 32, 32, 3])

permute

permute函数是重新排列tensor的维度。

b = torch.rand(1, 32, 1, 1)
b.permute(0,2,3,1).shape
# out:
torch.Size([1, 1, 1, 32])

大概介绍一下基本的tensor和修改方式。

参考文献：

[1] https://github.com/irobbwu/pytorch-intro/blob/main/01.Intro.ipynb