2022-05-19

$$如果你已经掌握了点积和矩阵-向量积的知识，那么矩阵-矩阵乘法（matrix-matrixmultiplication）应该很简单。假设我们有两个矩阵\text{(}\mathbf{A}\in {\mathbb{R}}^{n\times k}\text{)}和\text{(}\mathbf{B}\in {\mathbb{R}}^{k\times m}\text{)}：(2.3.7)\text{[}\begin{array}{r}\mathbf{A}=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1k}\\ a_{21}& a_{22}& \cdots & a_{2k}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nk}\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \cdots & b_{1m}\\ b_{21}& b_{22}& \cdots & b_{2m}\\ ⋮& ⋮& \ddots & ⋮\\ b_{k1}& b_{k2}& \cdots & b_{km}\end{array}\right].\end{array}\text{]}用行向量\text{(}{\mathbf{a}}_i^{\mathrm{\top }}\in {\mathbb{R}}^k\text{)}表示矩阵\text{(}\mathbf{A}\text{)}的第\text{(}i\text{)}行，并让列向量\text{(}{\mathbf{b}}_j\in {\mathbb{R}}^k\text{)}作为矩阵\text{(}\mathbf{B}\text{)}的第\text{(}j\text{)}列。要生成矩阵积\text{(}\mathbf{C}=\mathbf{A}\mathbf{B}\text{)}，最简单的方法是考虑\text{(}\mathbf{A}\text{)}的行向量和\text{(}\mathbf{B}\text{)}的列向量:(2.3.8)\text{[}\begin{array}{r}\mathbf{A}=\left[\begin{array}{c}{\mathbf{a}}_1^{\mathrm{\top }}\\ {\mathbf{a}}_2^{\mathrm{\top }}\\ ⋮\\ {\mathbf{a}}_n^{\mathrm{\top }}\end{array}\right],\mathbf{B}=\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_m\end{array}\right].\end{array}\text{]}当我们简单地将每个元素\text{(}{c}_{ij}\text{)}计算为点积\text{(}{\mathbf{a}}_i^{\mathrm{\top }}{\mathbf{b}}_j\text{)}:(2.3.9)\text{[}\begin{array}{r}\mathbf{C}=\mathbf{A}\mathbf{B}=\left[\begin{array}{c}{\mathbf{a}}_1^{\mathrm{\top }}\\ {\mathbf{a}}_2^{\mathrm{\top }}\\ ⋮\\ {\mathbf{a}}_n^{\mathrm{\top }}\end{array}\right]\left[\begin{array}{cccc}{\mathbf{b}}_1& {\mathbf{b}}_2& \cdots & {\mathbf{b}}_m\end{array}\right]=\left[\begin{array}{cccc}{\mathbf{a}}_1^{\mathrm{\top }}{\mathbf{b}}_1& {\mathbf{a}}_1^{\mathrm{\top }}{\mathbf{b}}_2& \cdots & {\mathbf{a}}_1^{\mathrm{\top }}{\mathbf{b}}_m\\ {\mathbf{a}}_2^{\mathrm{\top }}{\mathbf{b}}_1& {\mathbf{a}}_2^{\mathrm{\top }}{\mathbf{b}}_2& \cdots & {\mathbf{a}}_2^{\mathrm{\top }}{\mathbf{b}}_m\\ ⋮& ⋮& \ddots & ⋮\\ {\mathbf{a}}_n^{\mathrm{\top }}{\mathbf{b}}_1& {\mathbf{a}}_n^{\mathrm{\top }}{\mathbf{b}}_2& \cdots & {\mathbf{a}}_n^{\mathrm{\top }}{\mathbf{b}}_m\end{array}\right].\end{array}\text{]}我们可以将矩阵-矩阵乘法\text{(}\mathbf{A}\mathbf{B}\text{)}看作是简单地执行\text{(}m\text{)}次矩阵-向量积，并将结果拼接在一起，形成一个\text{(}n\times m\text{)}矩阵。在下面的代码中，我们在A和B上执行矩阵乘法。这里的A是一个5行4列的矩阵，B是一个4行3列的矩阵。两者相乘后，我们得到了一个5行3列的矩阵。$$