Pytorch系列:Pytorch的简单操作(三) ---- 张量的基础操作

一、张量的拼接与切分

1. torch.cat(tensor, dim=0, out=None)

功能: 将张量按维度dim进行拼接
参数:

  • tensors:张量序列
  • dim:要拼接的维度
>>> t = torch.ones((2, 3))
>>> torch.cat([t, t], dim=0)
tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]])
>>> torch.cat([t, t], dim=1)
tensor([[1., 1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1., 1.]])
2. torch.stack(tensors, dim=0, out=None)

功能: 在新创建的维度dim上进行拼接,如果维度已经存在,则将存在的维度向后移动。然后新建维度进行拼接。
参数:

  • tensors:张量序列
  • dim:要拼接的维度
>>> t = torch.ones((2, 3))
>>> t_stack = torch.stack([t, t], dim=2)
>>> t_stack
tensor([[[1., 1.],
         [1., 1.],
         [1., 1.]],

        [[1., 1.],
         [1., 1.],
         [1., 1.]]])
>>> t_stack.shape
torch.Size([2, 3, 2])
>>> t.shape
torch.Size([2, 3])
>>> t_stack = torch.stack([t, t], dim=0)
>>> t_stack.shape
torch.Size([2, 2, 3])
3. torch.chunk(input, chunks, dim=0)

功能: 将张量按维度dim进行平均切分
返回值: 张量列表
注意事项: 若不能整除,最后一份张量小于其他张量
参数:

  • input:要切分的张量
  • chunks:要切分的份数
  • dim:要切分的维度
>>> a = torch.ones((2, 5))
>>> list_of_tensors = torch.chunk(a, dim=1, chunks=2)
>>>> for idx, t in enumerate(list_of_tensors):
...     print("第{}个张量:{},shape is {}".format(idx+1, t, t.shape))
...
第1个张量:tensor([[1., 1., 1.],
        [1., 1., 1.]]),shape is torch.Size([2, 3])
第2个张量:tensor([[1., 1.],
        [1., 1.]]),shape is torch.Size([2, 2])
4. torch.split(tensor, split_size_or_sections, dim=0)

功能: 将张量按维度dim进行切分
参数:

  • tensor:要切分的张量
  • split_size_or_sections:为int时,表示每一份的长度;为list时,按list元素切分
  • dim:要切分的维度
>>> t = torch.ones((2, 5))
>>> torch.split(t, 2, dim=1)
(tensor([[1., 1.],
        [1., 1.]]), 
 tensor([[1., 1.],
        [1., 1.]]), 
 tensor([[1.],
        [1.]]))

>>> torch.split(t, [2, 1, 2], dim=1)
(tensor([[1., 1.],
        [1., 1.]]), tensor([[1.],
        [1.]]), tensor([[1., 1.],
        [1., 1.]]))

二、张量的索引

1. torch.index_select(input, dim, index, out=None)

功能: 在维度dim上,按index索引数据
返回值: 依index索引数据拼接的张量
参数:

  • input:要索引的张量
  • dim:要索引的维度
  • index:要索引数据的序号
>>> t = torch.randint(0, 9, size=(3, 3))
>>> idx = torch.tensor([0, 2], dtype=torch.long)
>>> torch.index_select(t, dim=0, index=idx)
tensor([[3, 0, 8],
        [5, 3, 4]])
>>> t
tensor([[3, 0, 8],
        [4, 3, 8],
        [5, 3, 4]])
2. torch.masked_select(input, mask, out=None)

功能: 按mask中的True进行索引
返回值: 一维张量
参数:

  • input:要索引的张量
  • mask:与input同形状的布尔类型张量
>>> t = torch.randint(0, 9, size=(3, 3))
>>> mask = t.ge(5)
>>> torch.masked_select(t, mask)
tensor([7, 5, 6, 7, 5])
>>> mask
tensor([[1, 0, 1],
        [1, 1, 0],
        [0, 1, 0]], dtype=torch.uint8)
>>> t
tensor([[7, 3, 5],
        [6, 7, 2],
        [1, 5, 4]])

三、张量变换

1. torch.reshape(input, shape)

功能: 变换张量形状
注意事项: 当张量在内存中是连续时,新张量与input共享数据内存
参数:

  • input:要变换的张量
  • shape:新张量的形状
>>> t = torch.randperm(8)
>>> t
tensor([1, 7, 3, 6, 4, 5, 2, 0])
>>> torch.reshape(t, (2, 4))
tensor([[1, 7, 3, 6],
        [4, 5, 2, 0]])
2. torch.transpose(input, dim0, dim1)

功能: 交换张量的两个维度
参数:

  • input:要变换的张量
  • dim0:要交换的维度
  • dim1:要交换的维度
>>> t = torch.rand((2, 3, 4))
>>> t0 = torch.transpose(t, dim0=1, dim1=2)
>>> t0.shape
torch.Size([2, 4, 3])
3. torch.t(input)

功能: 2维张量转置。

4. torch.squeeze(input, dim=None, out=None)

功能: 压缩长度为1的维度
参数:

  • input:输入的张量
  • dim:若为None,移除所有长度为1的轴;若指定维度,当且仅当该轴长度为1时,可以被移除。
>>> t = torch.rand((1, 2, 3, 1))
>>> torch.squeeze(t).shape
torch.Size([2, 3])
>>> torch.squeeze(t, dim=0).shape
torch.Size([2, 3, 1])
>>> torch.squeeze(t, dim=1).shape
torch.Size([1, 2, 3, 1])
5. torch.unsqueeze(input, dim, out=None)

功能: 依据dim扩展维度
参数:

  • dim:扩展的维度

四、张量的数学运算

        张量的数学运算包括:加减乘除、对数、指数、幂函数和三角函数等。常用的函数如下:

  1. torch.add()
  2. torch.sub()
  3. torch.div()
  4. torch.mul()
  5. torch.log(input)
  6. torch.log10(input)
  7. torch.exp(input)
  8. torch.abs(input)
  9. torch.cos(input)

五、线性回归

import torch
import matplotlib.pyplot as plt
torch.manual_seed(10)

lr = 0.05  # 学习率    

# 创建训练数据
x = torch.rand(20, 1) * 10  
y = 2*x + (5 + torch.randn(20, 1))  

# 构建线性回归参数
w = torch.randn((1), requires_grad=True)
b = torch.zeros((1), requires_grad=True)

for iteration in range(1000):

    # 前向传播
    wx = torch.mul(w, x)
    y_pred = torch.add(wx, b)

    # 计算 MSE loss
    loss = (0.5 * (y - y_pred) ** 2).mean()

    # 反向传播
    loss.backward()

    # 更新参数
    b.data.sub_(lr * b.grad)
    w.data.sub_(lr * w.grad)

    # 清零张量的梯度   20191015增加
    w.grad.zero_()
    b.grad.zero_()

    # 绘图
    if iteration % 20 == 0:

        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), y_pred.data.numpy(), 'r-', lw=5)
        plt.text(2, 20, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color':  'red'})
        plt.xlim(1.5, 10)
        plt.ylim(8, 28)
        plt.title("Iteration: {}\nw: {} b: {}".format(iteration, w.data.numpy(), b.data.numpy()))
        # plt.pause(0.5)
        plt.show()

        if loss.data.numpy() < 1:
            break

Pytorch系列:Pytorch的简单操作(三) ---- 张量的基础操作_第1张图片

Pytorch系列:Pytorch的简单操作(三) ---- 张量的基础操作_第2张图片

你可能感兴趣的:(Pytorch学习)