如何快速看出矩阵乘法的时间复杂度

以 Attention Score 的计算为例
$$Attn(K,Q,V)=Softmax(Q\cdot K^T/\sqrt{d})\cdot V$$
咱姑且把 Softmax 和 Softmax里面的除以 $\sqrt{d}$ 去掉（其运算时间复杂度小），表示为
$$Attn(K,Q,V)=Q\cdot K^T\cdot V$$
其中，$Q,K,V\in {\mathbb{R}}^{N\times d}$，$N$ 是token的数量，$d$ 是每个token的维度，一般认为 $N$>$d$

$Q\cdot K^T$ 从矩阵乘法上看维度变换是 $N\times d\times d\times N$，得到的矩阵维度是 $N\times N$，即得到的矩阵有 $N^2$ 个元素，每个元素需要经过d个元素相乘再相加得到（加权求和），所以 $Q\cdot K^T$ 计算的时间复杂度为 $O(N^{2}d)$

• 总结一个快速得出结论的方法

如果你不想鸟我上面写的，你只需要按照这个规则来看

比如两个矩阵 $M\cdot N,M\in {\mathbb{R}}^{m\times n},M\in {\mathbb{R}}^{n\times k}$

按照维度表示为 $m\times n\times n\times k$，只需要把中间的两个 $n$ 删掉一个即可表示时间复杂度，为 $O(m\times n\times k)$