PyTorch基础语法大全

文章目录

        • 一、创建 Tensor
          • 1.1 torch.empty(5, 3)
          • 1.2 torch.rand(5, 3)
          • 1.3 torch.zeros(5, 3)
          • 1.4 torch.tensor([5.5, 3])
          • 1.5 new_ones
          • 1.6 shape/size()
          • 1.7 其余创建 Tensor 操作
        • 二、算术操作
          • 2.1 torch.add(x, y)
          • 2.2 torch.sub(x, y)
          • 2.3 torch.mul(x, y)
          • 2.4 torch.div(x, y)
          • 2.5 torch.mm()、torch.matmul()、@
          • 2.6 .pow(2)
          • 2.7 .sqrt()
          • 2.8 torch.exp()、torch.log()
          • 2.9 其他运算
        • 三、索引
        • 四、改变形状
          • 4.1 view()
          • 4.2 clone()、reshape()
          • 4.3 item()
        • 五、线性代数
        • 六、广播机制
        • 七、Tensor和Numpy转换
          • 7.1 Tensor转Numpy
          • 7.2 Numpy转Tensor
        • 八、在GPU上操作

一、创建 Tensor
1.1 torch.empty(5, 3)

创建一个大小为 5*3 未初始化的 Tensor:

x = torch.empty(5,3)

输出为:

tensor([[8.4490e-39, 9.6429e-39, 9.2755e-39],
        [1.0286e-38, 9.0919e-39, 8.9082e-39],
        [9.2755e-39, 8.4490e-39, 9.2755e-39],
        [9.6429e-39, 9.6429e-39, 9.3674e-39],
        [1.0469e-38, 1.0102e-38, 9.2755e-39]])
1.2 torch.rand(5, 3)

创建一个大小为 5*3 随机初始化的 Tensor:

x = torch.rand(5, 3)

输出为:

tensor([[0.9481, 0.9788, 0.6261],
        [0.3213, 0.4617, 0.4188],
        [0.1769, 0.4106, 0.5583],
        [0.5643, 0.5224, 0.8899],
        [0.4977, 0.0276, 0.7517]])
1.3 torch.zeros(5, 3)

创建一个大小为 5x3 且指定数据类型为 long 型值全 0 的 Tensor:

x = torch.zeros(5, 3, dtype=torch.long)

输出为:

tensor([[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]])
1.4 torch.tensor([5.5, 3])

根据数据直接创建 Tensor:

x = torch.tensor([5.5, 3])

输出为:

tensor([5.5000, 3.0000])
1.5 new_ones

根据现有 Tensor 创建。

x = x.new_ones(5, 3, dtype=torch.float64)  
# 返回的tensor默认具有相同的torch.dtype和torch.device
# 得到的x为:
tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)


x = torch.randn_like(x, dtype=torch.float) 
# 指定新的数据类型
# 得到的x为:
tensor([[ 0.6035,  0.8110, -0.0451],
        [ 0.8797,  1.0482, -0.0445],
        [-0.7229,  2.8663, -0.5655],
        [ 0.1604, -0.0254,  1.0739],
        [ 2.2628, -0.9175, -0.2251]])
1.6 shape/size()

获取 Tensor 的形状:

print(x.size())
print(x.shape)

# 输出都为:
torch.Size([5, 3]) # 返回的torch.Size是一个tuple, 支持所有tuple的操作。
1.7 其余创建 Tensor 操作
函数 功能
Tensor(*sizes) 基础构造函数
tensor(data,) 类似np.array的构造函数
ones(*sizes) 全1Tensor
zeros(*sizes) 全0Tensor
full(*sizes,data) 值全为data,大小为sizes
ones_like(tensor) 值全为1,大小和指定的tensor相同
eye(*sizes) 对角线为1,其他为0
arange(s,e,step) 从s到e,步长为step
linspace(s,e,steps) 从s到e,均匀切分成steps份
rand/randn(*sizes) 均匀/标准分布
normal(mean,std)/uniform(from,to) 正态分布/均匀分布
randperm(m) 随机排列

这些创建方法都可以在创建的时候指定数据类型dtype和存放设备device(CPU/GPU)。

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
x = torch.tensor([1,1,1],dtype=torch.float64, device =device)

二、算术操作

两个 Tensor 进行加减乘除算术操作时会自动进行Broadcasting。

2.1 torch.add(x, y)

加法运算。

还可以指定输出:

result = torch.empty(5, 3)
torch.add(x, y, out=result)
2.2 torch.sub(x, y)

减法运算。

2.3 torch.mul(x, y)

对应元素相乘。

2.4 torch.div(x, y)

除法运算。

2.5 torch.mm()、torch.matmul()、@

矩阵相乘。

import torch
a = torch.ones(2, 1)
b = torch.ones(1, 2)
print(torch.mm(a, b).shape)
print(torch.matmul(a, b).shape)
print((a @ b).shape)

# 输出:
torch.Size([2, 2])
torch.Size([2, 2])
torch.Size([2, 2])

注意:对于高维的Tensor(dim>2),定义其矩阵乘法仅在最后的两个维度上,要求前面的维度必须保持一致,就像矩阵的索引一样并且运算操作语法只有torch.matmul()。(前面的"矩阵索引维度"如果符合Broadcasting机制,也会自动做广播,然后相乘)

c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 3, 64, 32)
print(torch.matmul(c, d).shape)

# 输出:
torch.Size([4, 3, 28, 32])

c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 1, 64, 32)
print(torch.matmul(c, d).shape) # 自动广播

# 输出:
torch.Size([4, 3, 28, 32])
2.6 .pow(2)

幂运算。

a = torch.full([2, 2], 3, dtype=torch.long)
b = a.pow(2)  # 也可以a**2
print(b)
tensor([[9., 9.],
        [9., 9.]])
2.7 .sqrt()

开方运算。

c = b.sqrt()  # 也可以a**(0.5)
tensor([[3., 3.],
        [3., 3.]])

d = b.rsqrt()  # 平方根的倒数
tensor([[0.3333, 0.3333],
        [0.3333, 0.3333]])
2.8 torch.exp()、torch.log()

指数和对数运算。

import torch
 
a = torch.exp(torch.ones(2, 2))  # 得到2*2的全是e的Tensor
print(a)
print(torch.log(a))  # 取自然对数
tensor([[2.7183, 2.7183],
        [2.7183, 2.7183]])
tensor([[1., 1.],
        [1., 1.]])

注意 log 是以自然对数为底数的,以2为底的用log2,以10为底的用 log10。

2.9 其他运算
函数 功能
.floor() 取下
.ceil() 取上
.trunc() 取整数
.frac() 取小数
.round() 四舍五入
.max() 最大值
.min() 最小值
.abs() 绝对值
.median() 平均值
.clamp(10) 裁剪运算,小于10的都变成10
.clamp(3, 10) 裁剪运算,小于3的变成3,大于10的变成10

三、索引

可以使用类似NumPy的索引操作来对Tensor进行索引,需要注意的是:索引出来的结果与原数据共享内存,也即修改一个,另一个会跟着修改。

y = x[0, :]
y += 1
print(y)
print(x[0, :]) # 源tensor也被改了

输出为:

tensor([1.6035, 1.8110, 0.9549])
tensor([1.6035, 1.8110, 0.9549])

一些索引高级函数:

函数 功能
index_select(input, dim, index) 在指定维度dim上选取,比如选取某些行、某些列
masked_select(input, mask) 例子如上,a[a>0],使用ByteTensor进行选取
nonzero(input) 非0元素的下标
gather(input, dim, index) 根据index,在dim维度上选取数据,输出的size与index一样

四、改变形状
4.1 view()

用 view() 函数来改变 Tensor 的形状。

y = x.view(15)
z = x.view(-1, 5)  # -1所指的维度可以根据其他维度的值推出来
print(x.size(), y.size(), z.size())

# 输出
torch.Size([5, 3]) torch.Size([15]) torch.Size([3, 5])

注意:view()返回的新Tensor与源Tensor虽然可能有不同的size,但是是共享data的,也即更改其中的一个,另外一个也会跟着改变。(view仅仅是改变了对这个张量的观察角度,内部数据并未改变。)

4.2 clone()、reshape()

如果想返回一个真正新的副本(即不共享data内存):

Pytorch还提供了一个reshape()可以改变形状,但是此函数并不能保证返回的是其拷贝,所以不推荐使用推荐先用clone创造一个副本然后再使用view。

x_cp = x.clone().view(15)

使用clone还有一个好处是会被记录在计算图中,即梯度回传到副本时也会传到源Tensor。

4.3 item()

将一个标量 Tensor 转换成一个 Python number。

x = torch.randn(1)
print(x)
print(x.item())
tensor([2.3466])
2.3466382026672363

五、线性代数

PyTorch还支持一些线性函数,具体用法参考官方文档。如下表所示:

函数 功能
trace 对角线元素之和(矩阵的迹)
diag 对角线元素
triu/tril 矩阵的上三角/下三角,可指定偏移量
mm/bmm 矩阵乘法,batch的矩阵乘法
addmm/addbmm/addmv/addr/baddbmm… 矩阵运算
t 转置
dot/cross 内积/外积
inverse 求逆矩阵
svd 奇异值分解

六、广播机制

当对两个形状不同的Tensor按元素运算时,可能会触发广播(broadcasting)机制:先适当复制元素使这两个Tensor形状相同后再按元素运算。


七、Tensor和Numpy转换

用numpy()和from_numpy()可以将Tensor和NumPy中的数组相互转换。但是需要注意的一点是: 这两个函数所产生的的Tensor和NumPy中的数组共享相同的内存(所以他们之间的转换很快),改变其中一个时另一个也会改变

7.1 Tensor转Numpy
a = torch.ones(5)
b = a.numpy()
7.2 Numpy转Tensor
import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)

此外上面提到还有一个常用的方法就是直接用torch.tensor()将NumPy数组转换成Tensor,需要注意的是该方法总是会进行数据拷贝,返回的Tensor和原来的数据不再共享内存


八、在GPU上操作

用方法to()可以将Tensor在CPU和GPU(需要硬件支持)之间相互移动。

# 以下代码只有在PyTorch GPU版本上才会执行
if torch.cuda.is_available():
    device = torch.device("cuda")          # GPU
    y = torch.ones_like(x, device=device)  # 直接创建一个在GPU上的Tensor
    x = x.to(device)                       # 等价于 .to("cuda")
    z = x + y
    print(z)
    print(z.to("cpu", torch.double))       # to()还可以同时更改数据类型
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
x = torch.tensor([1,1,1,1],dtype=torch.float64, device =device)

你可能感兴趣的:(机器学习,python,机器学习,深度学习)