深度学习Goodfellow第二章线性代数笔记

---

一、数学概念

标量(scalar)：一个标量就是单独的一个数。一般用斜体的小写字母表示标量，会明确数的类型。例如， $s\in \mathbb{R}$ 表示一个实数标量。

向量(vector)：一个向量是一列数。一般用粗体的小写字母表示， $\mathbf{x}\in {\mathbb{R}}^n$ 表示该向量属于实数集 $\mathbb{R}$ 的$n$次笛卡尔乘积构成的集合。向量里的数是有序的，例如，向量 $\mathbf{x}$ 的第一个元素是 $x_1$ 。当我们需要明确向量中的元素，我们可以把向量表示为
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$$
向量可以视为空间中的点，每个元素是不同坐标轴上的坐标。

矩阵(matrix)：一个矩阵是一个二维数组。一般用粗体的大写字母表示， $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 就表示一个高为$m$，宽为$n$的实数矩阵。$A_{m,n}$表示矩阵中的一个元素，${\mathbf{A}}_{i,:}$表示 $\mathbf{A}$ 的第 $i$ 行(row)，${\mathbf{A}}_{:,i}$表示 $\mathbf{A}$ 的第 $i$ 列(column)。当我们需要明确矩阵中的元素时，我们可以把矩阵表示为
$$\left[\begin{array}{ll}{A}_{1,1}& A_{1,2}\\ A_{2,1}& A_{2,2}\end{array}\right]$$

张量(tensor)：张量表示坐标超过两维的数组。一般使用不斜体的粗体大写字母表示，张量$\text{ A }$中的一个元素可表示为$A_{i,j,k}$。

主对角线(main diagonal)：从矩阵的左上角到右下角的直线是主对角线。

转置(transpose)：矩阵的转置是以主对角线为轴的镜像。我们将矩阵 $\mathbf{A}$ 的转置表示为 $\left({\mathbf{A}}^{\top }\right)$, 定义如下
$${\left({\mathbf{A}}^{\top }\right)}_{i,j}=A_{j,i}$$

广播(broadcasting)：深度学习中允许矩阵和向量相加，产生另一个矩阵：$\mathbf{C}=\mathbf{A}+\mathbf{b}$, 其中 $C_{i,j}=A_{i,j}+b_j$。换言之，向量$\mathbf{b}$和矩阵$\mathbf{A}$的每一行相加。这种隐式地复制向量的方式被称作广播。

矩阵乘法(matrix product)：如果矩阵 $\mathbf{A}$ 的形状是 $m\times n$, 矩阵 $\mathbf{B}$ 的形状是 $n\times p$, 那么矩阵$\mathbf{C}$ 的形状是 $m\times p_{\text{。 }}$。矩阵乘法表示为
$$C=AB$$
具体地, 该乘法操作定义为
$$C_{i,j}=\sum _k{A}_{i,k}{B}_{k,j}$$
矩阵乘积满足分配律和结合律，但不满足交换律。
矩阵乘积的转置如下
$$(\mathbf{A}\mathbf{B}{)}^{\top }={\mathbf{B}}^{\top }{\mathbf{A}}^{\top }$$

元素对应乘积(element-wise product)：指使两个矩阵中对应元素相乘，记作$\mathbf{A}\odot \mathbf{B}$。

点积(dot product)：指使两个维度相同的向量做矩阵乘积，记作${\mathbf{x}}^{\top }\mathbf{y}$。点积满足交换律。

线性方程组：线性方程组可表示为：
$$\mathbf{A}\mathbf{x}=\mathbf{b}$$
其中 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ 是一个已知矩阵, $\mathbf{b}\in {\mathbb{R}}^m$ 是一个已知向量, $\mathbf{x}\in {\mathbb{R}}^n$ 是一个我们要
求解的末知向量。向量 $x$ 的每一个元素 $x_i$ 都是末知的。矩阵 $\mathbf{A}$ 的每一行和 $\mathbf{b}$ 中对 应的元素构成一个约束。
该线性方程组还可表示为：
$$\begin{array}{c}{\mathbf{A}}_{1,:}\mathbf{x}=b_1\\ {\mathbf{A}}_{2,:}\mathbf{x}=b_2\\ \dots \\ {\mathbf{A}}_{m,:}\mathbf{x}=b_m\end{array}$$
或更明确的表示为：
$$\begin{array}{c}{\mathbf{A}}_{1,1}{x}_1+{\mathbf{A}}_{1,2}{x}_2+\cdots {\mathbf{A}}_{1,n}{x}_n=b_1\\ {\mathbf{A}}_{2,1}{x}_1+{\mathbf{A}}_{2,2}{x}_2+\cdots {\mathbf{A}}_{2,n}{x}_n=b_2\\ \dots \\ {\mathbf{A}}_{m,1}{x}_1+{\mathbf{A}}_{m,2}{x}_2+\cdots {\mathbf{A}}_{m,n}{x}_n=b_m.\end{array}$$

单位矩阵(identity matrix)：单位矩阵是个正方形，沿主对角线的元素都是1，其他位置的元素都是0。如下图：
$$\left[\begin{array}{lll}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
任意向量和单位矩阵相乘，都不会改变。我们将保持 $n$ 维向量不变的单位矩阵记作 ${\mathbf{I}}_{n\circ }$ 形式上, ${\mathbf{I}}_n\in {\mathbb{R}}^{n\times n}$,
$$\forall \mathbf{x}\in {\mathbb{R}}^n,{\mathbf{I}}_n\mathbf{x}=\mathbf{x}.$$

矩阵逆(matrix inversion)：矩阵 $A$ 的 矩阵逆记作 $A^{-1}$, 其定义的矩阵满足如下条件
$${\mathbf{A}}^{-1}\mathbf{A}={\mathbf{I}}_n\text{. }$$
现在我们可以通过以下步骤求解线性方程组 :
$$\begin{array}{c}\mathbf{A}\mathbf{x}=\mathbf{b}\\ {\mathbf{A}}^{-1}\mathbf{A}\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}\\ {\mathbf{I}}_n\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}\\ \mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}.\end{array}$$
当然, 这取决于我们能否找到一个逆矩阵 ${\mathbf{A}}^{-1}$ 。逆矩阵的存在是有条件的。

范数(norm)：范数是可以衡量一个向量的大小的函数。 $L^p$ 范数定义如下
$$\Vert \mathbf{x}{\Vert }_p={\left(\sum _i{\left|x_i\right|}^p\right)}^{\frac{1}{p}}$$
其中 $p\in \mathbb{R},p\ge 1$ 。
当 $p=2$ 时, $L^2$ 范数被称为 欧几里得范数（Euclidean norm)。
当 $p=1$ 时, $L^1$ 范数可简化为
$$\Vert x{\Vert }_1=\sum _i\left|x_i\right|$$
$L^1$ 范数相比$L^2$ 范数能更好的区分零和非零元素。
$L^{\infty }$范数被称为 最大范数（max norm)。
$$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{i}{\max }\left|x_i\right|$$
衡量矩阵的大小可用用 Frobenius 范数 ( Frobenius norm ),
$$\Vert \mathbf{A}{\Vert }_F=\sqrt{\sum _{i,j}{A}_{i,j}^2}$$
两个向量的点积可以用范数来表示。具体地,
$${\mathbf{x}}^{\top }\mathbf{y}=\Vert \mathbf{x}{\Vert }_2\Vert \mathbf{y}{\Vert }_2\cos \theta$$
其中 $\theta$ 表示 $x$ 和 $y$ 之间的夹角。

对角矩阵(diagonal matrix)：只在主对角线上含有非零元素，其他位置都是零。形式上, 矩阵 $\mathbf{D}$ 是对角矩阵, 当且仅当对于所有的 $i\ne j,D_{i,j}=0$ 。我们用 $\mathrm{diag}(\mathbf{v})$ 表示一个对角元素 由向量 $v$ 中元素给定的对角方阵。
对角矩阵的乘法很高效。计算乘法 $\mathrm{diag}(\mathbf{v})\mathbf{x}$, 我们只需要将 $\mathbf{x}$ 中的每个元素 $x_i$ 放大 $v_i$ 倍。换言之, $\mathrm{diag}(\mathbf{v})\mathbf{x}=\mathbf{v}\odot {\mathbf{x}}_{\circ }$
计算对角方阵的逆矩阵也很高效。对角方阵的逆矩阵存在, 当且仅当对角元素都是非零值, 在这种情况下, $\mathrm{diag}(\mathbf{v}{)}^{-1}=\mathrm{diag}\left({\left[1/v_1,\dots ,1/v_n\right]}^{\top }\right)$ 。

对称矩阵(symmetric matrix)：转置和自己相等的矩阵。

单位向量(unit vector)：具有单位范数(unit norm)的向量。

正交(orthogonal)：如果 ${\mathbf{x}}^{\top }\mathbf{y}=0$, 那么向量 $\mathbf{x}$ 和向量 $\mathbf{y}$ 互相正交 。如果两个向量都有非零范数，那么这两个向量之间的夹角为90度。
在 ${\mathbb{R}}^n$ 中, 至多有 $n$ 个范数非零范数互相正交。也就是说，在二维空间中，最多就两个向量互相垂直，不会有三个向量互相垂直。

标准正交：如果向量之间不仅互相正交, 并且范数都为 1 , 那么我们称它们是标准正交。

正交矩阵(orthogonal matrix)：指行向量和列向量是分别标准正交的方阵：
$${\mathbf{A}}^{\top }\mathbf{A}=\mathbf{A}{\mathbf{A}}^{\top }=\mathbf{I}$$
这意味着
$${\mathbf{A}}^{-1}={\mathbf{A}}^{\top }$$
上式是由矩阵逆的定义得到的。
正交矩阵得到关注是因为求逆的计算代价很小。

迹运算：迹运算返回矩阵对角元素的和
$$\mathrm{Tr}(\mathbf{A})=\sum _i{\mathbf{A}}_{i,i}$$
迹运算可以清除的表示一些矩阵运算。例如， 迹运算提供了另一种描述矩阵Frobenius范数的方式:
$$\Vert A{\Vert }_F=\sqrt{\mathrm{Tr}\left({\mathbf{A}\mathbf{A}}^{\top }\right)}.$$
迹运算在转置运算下不变：
$$\mathrm{Tr}(\mathbf{A})=\mathrm{Tr}\left({\mathbf{A}}^{\top }\right)$$
多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相 乘的迹是相同的。当然，我们需要考虑挪动之后矩阵乘积依然定义良好：
$$\mathrm{Tr}(\mathbf{A}\mathbf{B}\mathbf{C})=\mathrm{Tr}(\mathbf{C}\mathbf{A}\mathbf{B})=\mathrm{Tr}(\mathbf{B}\mathbf{C}\mathbf{A})$$
即使循环置换后矩阵乘积得到的矩阵形状变了，迹运算的结果依然不变。例如，假 设矩阵 $\mathbf{A}\in {\mathbb{R}}^{m\times n}$ ，矩阵 $\mathbf{B}\in {\mathbb{R}}^{n\times m}$ ，我们可以得到
$$\mathrm{Tr}(\mathbf{A}\mathbf{B})=\mathrm{Tr}(\mathbf{B}\mathbf{A})$$
尽管 $\mathbf{A}\mathbf{B}\in {\mathbb{R}}^{m\times m}$ 和 $\mathbf{B}\mathbf{A}\in {\mathbb{R}}^{n\times n}$ 。
另一个有用的事实是标量在迹运算后仍然是它自己： $a=\mathrm{Tr}(a)$ 。

二、矩阵逆的存在条件和一些分析方法

1. 矩阵逆存在的条件

如果逆矩阵${\mathbf{A}}^{-1}$存在，那么$\mathbf{A}\mathbf{x}=\mathbf{b}$肯定对于每一个向量$\mathbf{b}$恰好存在一个解。
这里可以这样理解，因为${\mathbf{A}}^{-1}$存在，所以$\mathbf{A}\mathbf{x}=\mathbf{b}$必定可以写成${\mathbf{A}}^{-1}\mathbf{A}\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$，即$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}$，那么无论$\mathbf{b}$取什么值，必定有个唯一的$\mathbf{x}$与之对应。
但是实际上，对于$\mathbf{b}$的某些值，有可能无解，也有可能有无数多个解，多于一个解少于无数个解的情况不存在。
因为方程恰好存在一个解，矩阵逆才有可能存在，所以接下来我们需要分析方程有多少个解。我们可以将$\mathbf{A}$的列向量看作从原点出发的不同方向，确定有多少种方法可以到达向量$\mathbf{b}$，向量$\mathbf{x}$中每个元素表示沿着这个列向量走多远：
$$\mathbf{A}\mathbf{x}=\sum _i{\mathbf{x}}_i{\mathbf{A}}_{:,i}$$
这里是说，$\mathbf{A}$中的每个列向量乘的都是相同的$x_i$，所以可以理解为每个列向量缩放再向量相加，能不能和向量$\mathbf{b}$重合。
这种操作叫线性组合(linear combination)。一组向量的线性组合是指每个向量乘以对应标量系数之后的和，即：
$$\sum _i{c}_i{\mathbf{v}}^{(i)}$$

一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合，即$\mathbf{b}$的取值。
确定$\mathbf{A}\mathbf{x}=\mathbf{b}$是否有解相当于确定向量$\mathbf{b}$是否再$\mathbf{A}$列向量的生成子空间中。$\mathbf{A}$列向量的生成子空间被称为$\mathbf{A}$的列空间(column space)。
为了使$\mathbf{A}\mathbf{x}=\mathbf{b}$对于任意向量$\mathbf{b}\in {\mathbb{R}}^m$都有解，那么$\mathbf{A}$的列向量要构成整个${\mathbb{R}}^m$，也就是说$\mathbf{A}$至少有$m$列，即$n⩾m$，这是方程对每一点有解的必要条件。我们还需要$\mathbf{A}$的列向量是线性无关(linearly independent)的，即一组向量中的任意一个向量都不能表示成其他向量的线性组合，如若可以，则是线性相关(linearly dependence)的。也就是说$\mathbf{A}$的列向量至少包含$m$个线性无关的向量。若要保证方程只有一个解，那么$\mathbf{A}$最多只能有$m$个列向量。
因此，矩阵逆存在，意味着整个矩阵是个方阵(square)，即$m=n$，而且列向量是线性无关的。
列向量线性相关的方阵被称为奇异的(singular)方阵。奇异方阵的方程或者不是方阵的方程仍可能有解，但无法用矩阵逆去解。
方阵的左逆和右逆相等，因为他的行和列数目是一样的。

2. 特征分解

我们可以分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。
特征分解(eigendecomposition)是将矩阵分解成一组特征向量和特征值。