pytorch矩阵乘法

一、torch.bmm
input1 shape: (batch_size, seq1_len, emb_dim)
input2 shape: (batch_size, emb_dim, seq2_len)
output shape: (batch_size, seq1_len, seq2_len)
注意：torch.bmm只适合三维tensor做矩阵运算

特别地，torch.bmm支持tenso广播运算
input1 shape: (batch_size, seq1_len, emb_dim)
input2 shape: (emb_dim, seq2_len)
output shape: (batch_size, seq1_len, seq2_len)
或
input1 shape: (batch_size, seq1_len, emb_dim)
input2 shape: (1，emb_dim, seq2_len)
output shape: (batch_size, seq1_len, seq2_len)

二、torch.matmul
可以支持更高纬度的tensor运算
运算时 采用末端对齐法 即从最末的维度开始对齐
input1.shape[end] 要等于 input2.shape[end-1]
除最后两个维度以外，其余维度要保持一致或满足可广播条件

三、torch.einsum
减少tensor的转置操作 可以直接定义计算方式
以下两个方式是等价的 可以看到 enisum方法更简洁

enisum 有两个输入：第一个是下标操作定义，第二个是输入的tensor列表，可以支持多个tensor计算
值得注意的是，输出向量定义的维度应该与torch.matmul产生的输出在逻辑上保持一致（直接或转置后相同）&#x