pytorch深度学习实战

3.4命名张量

einsum方法详解(爱因斯坦求和)

einsum是pytorch、numpy中一个十分优雅的方法,如果利用得当,可完全代替所有其他的矩阵计算方法,不过这需要一定的学习成本。本文旨在详细解读einsum方法的原理,并给出一些基本示例。
一、爱因斯坦求和

 爱因斯坦求和是一种对求和公式简洁高效的记法,其原则是当变量下标重复出现时,即可省略繁琐的求和符号。

比如求和公式:

 

其中变量 a 与变量 b 的下标是相同的(即重复出现),则可将其记为:

a_{i}b_{i}=\sum_{1}^{n}a_{i}b_{i}

 

二、einsum方法原理

einsum方法正是利用了爱因斯坦求和简介高效的表示方法,从而可以驾驭任何复杂的矩阵计算操作。基本的框架如下:

C = einsum('ij,jk->ik', A, B)

上述操作表示矩阵A与矩阵B的点积。输入的参数分为两部分,前面表示计算操作的字符串,后面是以逗号隔开的操作对象(数量需与前面对应)。其中在计算操作表示中,"->“左边是以逗号隔开的下标索引,重复出现的索引即是需要爱因斯坦求和的;”->"右边的是最后输出的结果形式。
以上式为例,其计算公式为: C_{ik}=\sum_{j}^{}A_{ij}B_{jk},其等价于矩阵A与B的点积。
这里有几条原则需要注意,之后也会和结合示例进行详解:

  1.     "->"左边的是对应维度,以逗号隔开
  2.     "->"右边的是最终output的形式
  3.     如果符号"->"被省略则代表输出为整体求和
  4.     "…"表示省略之前或之后的所有维度
  5.     einsum中涉及到的计算操作有很多,包括但不限于点积、对应元素相乘、求和、转置等
     

三、一些示例

einsum方法在numpy和pytorch中均有内置,这里以pytorch为例,首先定义一些需要用到的变量:

import torch
from torch import einsum
a = torch.ones(3,4)
b = torch.ones(4,5)
c = torch.ones(6,7,8)
d = torch.ones(3,4)
x, y = torch.randn(5), torch.randn(5)
  1. 计算矩阵所有元素之和
    einsum('i,j', a)   # 等价于einsum('i,j->', a)
    einsum('i,j,k', c)
    

  2. 计算矩阵的迹
    einsum('ii', a)
    

  3. 获取矩阵对角线元素组成的向量
    einsum('ii->i', a)
    

  4. 向量相乘得到矩阵
    einsum('i,j->ij', x, y)
    

  5. 矩阵点积
    einsum('ij,jk->ik', a, b)
    

  6. 矩阵对应元素相乘
    einsum('ij,ij->ij', a, d)
    

  7. 矩阵的转置
    einsum('ijk->ikj', c)
    einsum('...jk->...kj', c)  # 两种形式等价
    

  8. 双线性运算
    A = torch.randn(3,5,4)
    l = torch.randn(2,5)
    r = torch.randn(2,4)
    torch.einsum('bn,anm,bm->ba', l, A, r)
    

c = torch.tensor([[[[1., 2.],
                   [3., 1.]],
                  [[1., 1.],
                   [4., 1.]],
                  [[1., 1.],
                   [1., 5.]]],
                 [[[1., 2.],
                   [3., 1.]],
                  [[1., 1.],
                   [4., 1.]],
                  [[1., 1.],
                   [1., 5.]]]]
                 )
d = torch.tensor([0.1, 0.2, 0.3])
print(c.shape)
e = torch.einsum('...chw,c->...hw', c,d)
print(e)
print(e.shape)

你可能感兴趣的:(python,深度学习,pytorch,人工智能)