【Pytorch】Tensor的数学运算

文章目录

  • 1. Tensor的加减乘除
  • 2. matmul 函数计算矩阵相乘
    • 2.1 @ 运用案例:线性层计算
    • 2.2 多维Tensor的matmul
  • 3. 幂运算
  • 4. e 与 log 运算
  • 5. 近似值计算
  • 6. 梯度裁剪 clamp 函数

1. Tensor的加减乘除

import torch

a = torch.ones(2, 2)
print(a)    # tensor([[1., 1.],[1., 1.]])
b = torch.ones(2)
print(b)    # tensor([1., 1.])

c = a + b
print(c)    # tensor([[2., 2.],[2., 2.]])
c = torch.add(a, b)
print(c)    # tensor([[2., 2.],[2., 2.]])

c = a - b;
print(c)    # tensor([[0., 0.],[0., 0.]])
c = torch.sub(a, b)
print(c)    # tensor([[0., 0.],[0., 0.]])

c = a * b
print(c)    # tensor([[1., 1.],[1., 1.]])
c = torch.mul(a, b)
print(c)    # tensor([[1., 1.],[1., 1.]])

c = a / b
print(c)    # tensor([[1., 1.],[1., 1.]])
c = torch.div(a, b)
print(c)    # tensor([[1., 1.],[1., 1.]])

+ 号相当于add函数

- 号相当于sub函数

* 号相当于mul函数

/ 号相当于div函数

2. matmul 函数计算矩阵相乘

矩阵相乘的三种计算方法:

  1. @ 符号:是matmul函数的重载形式
  2. matmul函数:可以计算高维度乘法
  3. mm函数:只能计算二维矩阵相乘
a = 3 * torch.ones(2, 2)
print(a)    # tensor([[3., 3.],[3., 3.]])
b = torch.ones(2, 2)
print(b)    # tensor([[1., 1.],[1., 1.]])

c = a @ b
print(c)    # tensor([[6., 6.],[6., 6.]])

c = torch.mm(a, b)
print(c)    # tensor([[6., 6.],[6., 6.]])

c = torch.matmul(a, b)
print(c)    # tensor([[6., 6.],[6., 6.]])

2.1 @ 运用案例:线性层计算

a = torch.rand(4, 784)
b = torch.rand(512, 784)
c = a @ b.t()
print(c.shape)	# torch.Size([4, 512])

神经网络 -> 矩阵运算 -> tensor flow

2.2 多维Tensor的matmul

  • 对于多维 Tensor 使用 matmul 函数,只会对最后两维度进行运算
a = torch.rand(4, 3, 28, 64)
b = torch.rand(4, 3, 64, 32)
c = torch.matmul(a, b)
print(c.shape)  # torch.Size([4, 3, 28, 32])

如果使用 mm 函数,则会报错:

RuntimeError: self must be a matrix

3. 幂运算

幂运算的计算方法:

  1. pow 函数:计算 n 次方时使用,例如pow(a, 2)
  2. ** 运算符:计算 n 次方时使用,例如 a ** 2
  3. sqrt 函数:square root 计算平方根
  4. rsqrt 函数:计算平方根的倒数
a = torch.full([2, 2], 9)
print(a)    # tensor([[9, 9],[9, 9]])

b = a ** 2
print(b)    # tensor([[81, 81],[81, 81]])

b = a ** 0.5
print(b)    # tensor([[3., 3.],[3., 3.]])

aa = pow(a, 2)
print(b)    # tensor([[3., 3.],[3., 3.]])

sqrtrsqrt只支持torch.FloatTensor类型

a = torch.Tensor([
    [9, 9],
    [9, 9]
])

b = a.sqrt()
print(b)	# tensor([[3., 3.],[3., 3.]])

b = a.rsqrt()
print(b)	# tensor([[0.3333, 0.3333],[0.3333, 0.3333]])

4. e 与 log 运算

相关计算函数:

  1. exp 函数:Tensor 中的值都乘以 e
  2. log 函数:log 以 e 为底对数运算
  3. log2 函数:log 以 2 为底对数运算
  4. log10 函数:log 以 10 为底对数运算
a = torch.ones(2, 2)

b = torch.exp(a)
print(b)    # tensor([[2.7183, 2.7183],[2.7183, 2.7183]])

b = torch.log(a)
print(b)    # tensor([[1., 1.],[1., 1.]])

b = torch.log2(a)
print(b)    # tensor([[1.4427, 1.4427],[1.4427, 1.4427]])

b = torch.log10(a)
print(b)    # tensor([[0.4343, 0.4343],[0.4343, 0.4343]])

5. 近似值计算

相关计算函数:

  1. floor 函数:向下取整数
  2. ceil 函数:向上取整数
  3. round 函数:四舍五入取整
  4. trunc 函数:去除小数部分
  5. frac 函数:取出小数部分
a = torch.exp(torch.ones(1))
print(a)    # tensor([2.7183])

b = a.floor()
print(b)    # tensor([2.])

b = a.ceil()
print(b)    # tensor([3.])

b = a.round()   
print(b)    # tensor([3.])

b = a.trunc()
print(b)    # tensor([2.])

b = a.frac()
print(b)    # tensor([0.7183])

6. 梯度裁剪 clamp 函数

def clamp(min, max) -> Tensor
  • 只填入一个参数(min) :小于 min 的都变为 min
  • 填入两个参数(min, max):小于 min 的值全部变为 min,大于 max 的值全部变为 max,位于 min 和 max 之间的值不变
grad = torch.rand(2, 2) * 15
print(grad)     # tensor([[ 8.6183, 11.2805],[ 4.5788,  0.1278]])

b = grad.max()
print(b)        # tensor(11.2805)

b = grad.median()
print(b)        # tensor(4.5788)

b = grad.clamp(10)
print(b)        # tensor([[10.0000, 11.2805],[10.0000, 10.0000]])

b = grad.clamp(0, 10)
print(b)        # tensor([[ 8.6183, 10.0000],[ 4.5788,  0.1278]])

你可能感兴趣的:(Python,深度学习,机器学习,Pytorch,Tensor,Tensor数学运算)