线性代数之基本概念与矩阵乘法

前言

线性代数相关的学习笔记，仅供自己备忘及网友学习交流使用。

一、基础概念和符号

线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组：
$$6x_1+8x_2=77$$
$$3x_1-9x_2=19$$
这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 $x_1$ 和 $x_2$ 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达：
$$Ax=b$$
$$withA=\left[\begin{array}{cc}6& 8\\ 3& -9\end{array}\right],b=\left[\begin{array}{c}77\\ 19\end{array}\right]$$

我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。

1.1 基本符号

我们使用以下符号：

• $A\in {\mathbb{R}}^{m\times n}$ ，表示 $A$ 为由实数组成具有 $m$ 行和 $n$ 列的矩阵。
• $x\in {\mathbb{R}}^n$ ，表示 $x$ 是具有 $n$ 个元素的向量。 通常，向量 $x$ 将表示列向量：$(x_1,x_2,...,x_n{)}^T$ ，即 $x$ 是具有 $n$ 行和 $1$ 列的矩阵。 如果我们想要明确地表示行向量：具有 $1$ 行和 $n$ 列的矩阵 - 我们通常写成 $x^T$（这里 $x^T$ 表示为 $x$ 的转置）。
• $x_i$ 表示向量 $x$ 的第 $i$ 个元素：
  $$x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
• 我们使用符号 $a_{ij}$（或 $A_{ij}$ , $A_{i,j}$ 等）来表示 $A$ 矩阵中第 $i$ 行和第 $j$ 列的元素：
  $$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$
• 我们用 $a^j$ 或者 $A_{:,j}$ 表示矩阵 $A$ 的第 $j$ 列：
  $$A=\left[\begin{array}{cccc}|& |& & |\\ a^1& a^2& \cdots & a^n\\ |& |& & |\end{array}\right]$$
• 我们用 $a_i^T$ 或者 $A_{i,:}$ 表示矩阵的第 $i$ 行：
  $$A=\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_m^T& -\end{array}\right]$$
• 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通用约定。

二、矩阵乘法

两个矩阵相乘，其中 $A\in {\mathbb{R}}^{m\times n}andB\in {\mathbb{R}}^{n\times p}$ ，则：
$$C=AB\in {\mathbb{R}}^{m\times p}$$
其中：
$$C_{ij}=\sum _{k=1}^n{A}_{ik}{B}_{kj}$$
请注意，为了使矩阵乘积存在， $A$ 中的列数必须等于 $B$ 中的行数。有很多方法可以查看矩阵乘法，我们将从检查一些特殊情况开始。

2.1 向量-向量乘法

给定两个向量 $x,y\in {\mathbb{R}}^n$ ，$x^{T}y$ 通常称为向量内积或者点积，结果是个实数。
$$x^{T}y\in {\mathbb{R}}^n=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\sum _{i=1}^n{x}_i{y}_i$$
注意：$x^{T}y=y^{T}x$ 始终成立。

给定向量 $x\in {\mathbb{R}}^m$ ，$y\in {\mathbb{R}}^n$ (他们的维度是否相同都没关系)，$x{y}^T\in {\mathbb{R}}^{m\times n}$ 叫做向量外积 , 当 $(x{y}^T{)}_{ij}=x_i{y}_j$ 的时候，它是一个矩阵。
$$x{y}^T\in {\mathbb{R}}^{m\times n}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right]\left[\begin{array}{ccc}{y}_1& y_2& \cdots y_n\end{array}\right]=\left[\begin{array}{cccc}{x}_1{y}_1& x_1{y}_2& \cdots & x_1{y}_n\\ x_2{y}_1& x_2{y}_2& \cdots & x_2{y}_n\\ ⋮& ⋮& \ddots & ⋮\\ x_m{y}_1& x_m{y}_2& \cdots & x_m{y}_n\end{array}\right]$$

举一个外积如何使用的一个例子：让 $1\in {\mathbb{R}}^n$ 表示一个 $n$ 维向量，其元素都等于 1 ，此外，考虑矩阵 $A\in {\mathbb{R}}^{m\times n}$ ，其列全部等于某个向量 $x\in {\mathbb{R}}^m$ 。我们可以使用外积紧凑地表示矩阵 $A$ ：
$$A=\left[\begin{array}{cccc}|& |& & |\\ x& x& \cdots & x\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{x}_1& x_1& \cdots & x_1\\ x_2& x_2& \cdots & x_2\\ ⋮& ⋮& \ddots & ⋮\\ x_m& x_m& \cdots & x_m\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_m\end{array}\right]\left[\begin{array}{ccc}1& 1& \cdots 1\end{array}\right]=x{1}^T$$

2.2 矩阵-向量乘法

给定矩阵 $A\in {\mathbb{R}}^{m\times n}$ ，向量 $x\in {\mathbb{R}}^n$ , 它们的积是一个向量 $y=Ax\in {\mathbb{R}}^m$ 。有几种方法可以查看矩阵向量乘法，我们将依次查看它们中的每一种。

如果我们按行写 $A$ ，那么我们可以表示 $Ax$ 为：
$$y=Ax=\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_m^T& -\end{array}\right]x=\left[\begin{array}{c}{a}_1^{T}x\\ a_2^{T}x\\ ⋮\\ a_m^{T}x\end{array}\right]$$

换句话说，$y$ 中的第 $i$ 个元素是 $A$ 的第 $i$ 行和 $x$ 的内积，即：$y_i=A_{i,:}x=a_i^{T}x$ 。

同样的， 可以把 $A$ 写成列的方式，则公式如下：
$$y=Ax=\left[\begin{array}{cccc}|& |& & |\\ a^1& a^2& \cdots & a^n\\ |& |& & |\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=a^1{x}_1+a^2{x}_2+...+a^n{x}_n$$

换句话说，$y$ 是 $A$ 的列的线性组合，其中线性组合的系数由 $x$ 的元素给出。

到目前为止，我们一直在右侧乘以列向量，但也可以在左侧乘以行向量。用 $y^T=x^{T}A$ 表示 $A\in {\mathbb{R}}^{m\times n}x\in {\mathbb{R}}^{m}y\in {\mathbb{R}}^n$ 。和之前一样，我们可以用两种可行的方式表达 $y^T$ ，这取决于我们是否根据行或列表达 $A$ 。

第一种情况，我们把 $A$ 用列表示：
$$y^T=x^{T}A=x^T\left[\begin{array}{cccc}|& |& & |\\ a^1& a^2& \cdots & a^n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{x}^T{a}^1& x^T{a}^2& \cdots & x^T{a}^n\end{array}\right]$$

这表明 $y^T$ 的第个 $i$ 元素等于 $x$ 和 $A$ 的第 $i$ 列的内积。

最后，根据行表示 $A$ ，我们得到了向量-矩阵乘积的最终表示：
$$y^T=x^{T}A=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_m^T& -\end{array}\right]=x_1{a}_1^T+x_2{a}_2^T+...+x_n{a}_n^T$$

所以我们看到 $y^T$ 是 $A$ 的行的线性组合，其中线性组合的系数由 $x$ 的元素给出。

2.3 矩阵-矩阵乘法

有了这些前置知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是本节开头所定义的 $C=AB$ 的乘法。

首先，我们可以将矩阵 - 矩阵乘法视为一组向量-向量乘积。从定义中可以得出：最明显的特点是 $C$ 的 $(i,j)$ 元素等于 $A$ 的第 $i$ 行和 $B$ 的第 $j$ 列的内积。如下面的公式所示：
$$C=AB=\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_m^T& -\end{array}\right]\left[\begin{array}{cccc}|& |& & |\\ b^1& b^2& \cdots & b^n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}{a}_1^T{b}^1& a_1^T{b}^2& \cdots & a_1^T{b}^n\\ a_2^T{b}^1& a_2^T{b}^2& \cdots & a_2^T{b}^n\\ ⋮& ⋮& \ddots & ⋮\\ a_m^T{b}^1& a_m^T{b}^2& \cdots & a_m^T{b}^n\end{array}\right]$$

这里 $A\in {\mathbb{R}}^{m\times k}B\in {\mathbb{R}}^{k\times n}{a}_i\in {\mathbb{R}}^k{b}^j\in {\mathbb{R}}^k$ ，所以它们可以计算内积。我们用通常用行表示 $A$ 而用列表示 $B$ 。或者，我们可以用列表示 $A$ ，用行表示 $B$ ，这时 $AB$ 是求外积的和。公式如下：
$$C=AB=\left[\begin{array}{cccc}|& |& & |\\ a^1& a^2& \cdots & a^n\\ |& |& & |\end{array}\right]\left[\begin{array}{ccc}-& b_1^T& -\\ -& b_2^T& -\\ & ⋮& \\ -& b_m^T& -\end{array}\right]=\sum _{i=1}^n{a}^i{b}_i^T$$

换句话说， $AB$ 等于所有的 $A$ 的第 $i$ 列和 $B$ 的第 $i$ 行的外积的和。因此，在这种情况下， $a_i\in {\mathbb{R}}^m$ 和 $b^j\in {\mathbb{R}}^n$ ， 外积 $a^i{b}_i^T$ 的维度是 $m\times n$ ，与 $C$ 的维度一致。

其次，我们还可以将矩阵 - 矩阵乘法视为一组矩阵向量积。如果我们把 $B$ 用列表示，我们可以将 $C$ 的列视为 $A$ 和 $B$ 的列的矩阵向量积。公式如下：
$$C=AB=A\left[\begin{array}{cccc}|& |& & |\\ b^1& b^2& \cdots & b^n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}|& |& & |\\ A{b}^1& A{b}^2& \cdots & A{b}^n\\ |& |& & |\end{array}\right]$$
这里 $C$ 的第 $i$ 列由矩阵向量乘积给出，右边的向量为 $c_i=A{b}^i$ 。 这些矩阵向量乘积可以使用前一小节中给出的两个观点来解释。 最后，我们有类似的观点，我们用行表示 $A$ ， $C$ 的行作为 $A$ 和 $B$ 的行之间的矩阵向量积。公式如下：
$$C=AB=\left[\begin{array}{ccc}-& a_1^T& -\\ -& a_2^T& -\\ & ⋮& \\ -& a_m^T& -\end{array}\right]B=\left[\begin{array}{ccc}-& a_1^{T}B& -\\ -& a_2^{T}B& -\\ & ⋮& \\ -& a_m^{T}B& -\end{array}\right]$$

这里 $C$ 的第 $i$ 行由左边的向量与右边的矩阵的乘积给出：$c_i^T=a_i^{T}B$ 。
将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的初始定义（在一行数学中）之后。

这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。

实际上所有的线性代数都是在处理某种矩阵乘法，花一些时间对这里提出的观点进行直观的理解是非常必要的。

除此之外，了解一些更高级别的矩阵乘法的基本属性是很有必要的：

• 矩阵乘法结合律： $(AB)C=A(BC)$ ；
• 矩阵乘法分配律： $A(B+C)=AB+AC$ 。
• 矩阵乘法通常是不满足交换律的；也就是说，通常 $AB\ne BA$ 。（例如，假设 $A\in {\mathbb{R}}^{m\times k}$ ，$B\in {\mathbb{R}}^{k\times n}$ ，如果 $m$ 和 $n$ 不相等，矩阵 $BA$ 的乘积甚至不存在！）

如果您不熟悉这些属性，请花点时间自己验证它们。 例如，为了检查矩阵乘法的相关性，假设 $A\in {\mathbb{R}}^{m\times k}$ ，$B\in {\mathbb{R}}^{k\times n}$ ，$C\in {\mathbb{R}}^{n\times p}$ 。注意 $AB\in {\mathbb{R}}^{m\times n}$ ，所以 $(AB)C\in {\mathbb{R}}^{m\times p}$ 。类似地，$BC\in {\mathbb{R}}^{k\times p}$ ，所以 $A(BC)\in {\mathbb{R}}^{m\times p}$ 。因此，所得矩阵的维度一致。 为了表明矩阵乘法是相关的，足以检查 $(AB)C$ 的第 $(i,j)$ 个元素是否等于 $A(BC)$ 的第 $(i,j)$ 个元素。 我们可以使用矩阵乘法的定义直接验证这一点：
$$((AB)C{)}_{ij}=\sum _{k=1}^p(AB{)}_{ik}{C}_{kj}=\sum _{k=1}^p\left(\sum _{l=1}^n{A}_{il}{B}_{lk}\right)C_{kj}$$
$$=\sum _{k=1}^p\left(\sum _{l=1}^n{A}_{il}{B}_{lk}{C}_{kj}\right)=\sum _{l=1}^n\left(\sum _{k=1}^p{A}_{il}{B}_{lk}{C}_{kj}\right)$$
$$=\sum _{l=1}^n{A}_{il}\left(\sum _{k=1}^p{B}_{lk}{C}_{kj}\right)=\sum _{l=1}^n{A}_{il}(BC{)}_{lj}=(A(BC){)}_{lj}$$

证毕。

2.4 矩阵的初等变换

实际上，我们可以通过向量与向量相加，向量与标量相乘的操作，来完成对初始向量的移动、压缩和拉伸。
我们将一系列这样的操作合并，就变成了下面这种形式：
$$Av=w$$
上式我们可以理解为对向量 $v$ 做了矩阵 $A$ 包含的一系列操作，变成了向量 $w$ 。

举个例子：
$$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right],v=\left[\begin{array}{c}x\\ y\end{array}\right]$$
$$w=Av=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=x\left[\begin{array}{c}a\\ c\end{array}\right]+y\left[\begin{array}{c}b\\ d\end{array}\right]=\left[\begin{array}{c}ax+by\\ cx+dy\end{array}\right]$$
那么矩阵的初等变换其实包含了初等行变换和初等列变换。下面以初等行变换为例，初等变换的操作包含：

① 交换矩阵的两行（对调 $i,j$ ，两行分别记为 $r_i，r_j$ ）；

② 以一个非零数 $k$ 乘矩阵的某一行所有元素（第 $i$ 行乘以 $k$ 记为 $r_i\times k$ ）；

③ 把矩阵的某一行所有元素乘以一个数 $k$ 后加到另一行对应的元素(第 $j$ 行乘以 $k$ 加到第 $i$ 行记为 $r_i+r_j\times k$ )。

类似地，把以上的“行”改为“列”便得到矩阵初等列变换的操作。