【机器学习的数学基础】（七）矩阵分解(Matrix Decomposition)(中)

4 矩阵分解(Matrix Decomposition)(中)

4.3 Cholesky分解

在机器学习中，有许多方法可以分解一些特殊的矩阵。例如对于对称正定矩阵(见3.2.3节)，我们有许多类似于平方根运算的方法。Cholesky分解(Cholesky decomposition/Cholesky factorization)就是其中一种，且很有用。

定理 4.18 Cholesky分解

对称正定矩阵$\mathbf{A}$可以分解为：$\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\top }$，其中$\mathbf{L}$是具有正对角元素的下三角矩阵：
$$\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{n1}& \cdots & a_{nn}\end{array}\right]=\left[\begin{array}{ccc}{l}_{11}& \cdots & 0\\ ⋮& \ddots & ⋮\\ l_{n1}& \cdots & l_{nn}\end{array}\right]\left[\begin{array}{ccc}{l}_{11}& \cdots & l_{n1}\\ ⋮& \ddots & ⋮\\ 0& \cdots & l_{nn}\end{array}\right]$$

$\mathbf{L}$被称为$\mathbf{A}$的Cholesky因子( Cholesky factor)，且是是唯一的。

例 4.10
考虑一个对称正定矩阵$\mathbf{A}\in {\mathbb{R}}^{3\times 3}$，我们要得到它的Cholesky分解$\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\top }$，即：
$$\mathbf{A}=\left[\begin{array}{lll}{a}_{11}& a_{21}& a_{31}\\ a_{21}& a_{22}& a_{32}\\ a_{31}& a_{32}& a_{33}\end{array}\right]=\mathbf{L}{\mathbf{L}}^{\top }=\left[\begin{array}{lll}{l}_{11}& 0& 0\\ l_{21}& l_{22}& 0\\ l_{31}& l_{32}& l_{33}\end{array}\right]\left[\begin{array}{ccc}{l}_{11}& l_{21}& l_{31}\\ 0& l_{22}& l_{32}\\ 0& 0& l_{33}\end{array}\right]$$
计算右边的矩阵相乘得到：
$$\mathbf{A}=\left[\begin{array}{ccc}{l}_{11}^2& l_{21}{l}_{11}& l_{31}{l}_{11}\\ l_{21}{l}_{11}& l_{21}^2+l_{22}^2& l_{31}{l}_{21}+l_{32}{l}_{22}\\ l_{31}{l}_{11}& l_{31}{l}_{21}+l_{32}{l}_{22}& l_{31}^2+l_{32}^2+l_{33}^2\end{array}\right]$$

比较等式两侧元素，可以看出对角线元素$l_{ii}$中有一个简单的规则：
$$l_{11}=\sqrt{a_{11}},l_{22}=\sqrt{a_{22}-l_{21}^2},l_{33}=\sqrt{a_{33}-\left(l_{31}^2+l_{32}^2\right)}$$
类似地，对于对角线以下的元素（$l_{ij}$，其中$i>j$），也存在规则：
$$l_{21}=\frac{1}{l_{11}}{a}_{21},l_{31}=\frac{1}{l_{11}}{a}_{31},l_{32}=\frac{1}{l_{22}}\left(a_{32}-l_{31}{l}_{21}\right)$$

因此，我们构造了任意对称正定3×3矩阵的Cholesky分解。实现的关键是给定$\mathbf{A}$的值$a_{ij}$和计算得到的$l_{ij}$，我们可以推算$\mathbf{L}$的其他量。

Cholesky分解是机器学习中数值计算的重要工具。特别是在对称正定矩阵需要频繁的操作的时候，例如，多元高斯变量的协方差矩阵（概率与分布6.5节）是对称且正定的。这个协方差矩阵的Cholesky分解允许我们从高斯分布生成样本。它还允许我们对随机变量进行线性变换，这在计算深度随机模型（如变分自动编码器）中的梯度时被广泛使用。Cholesky分解还允许我们非常高效地计算行列式。给定Cholesky分解$\mathbf{A}=\mathbf{L}{\mathbf{L}}^{\top }$，我们知道$\det (\mathbf{A})=\det (\mathbf{L})\det \left({\mathbf{L}}^{\top }\right)=\det (\mathbf{L}{)}^2$。因为$\mathbf{L}$是三角矩阵，其行列式是它的对角线项的乘积$\det (\mathbf{A})={\prod }_i{l}_{ii}^2$。因此，许多数值软件包使用Cholesky分解来提高计算效率。

4.4 特征分解与对角化

对角矩阵(diagonal matrix)是所有非对角元素的值为零的矩阵，即它们的形式为：
$$\mathbf{D}=\left[\begin{array}{ccc}{c}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & c_n\end{array}\right]$$

它们允许快速计算行列式、幂和逆。其行列式是其对角线项的乘积，矩阵的幂${\mathbf{D}}^k$由每个对角线元素的$k$次幂表示，如果所有对角线元素都不为零，则逆${\mathbf{D}}^{-1}$是对角线元素的倒数。

在本节中，我们将讨论如何将矩阵转换为对角线形式。这是我们2.72节中的基变化和4.2节的特征值的一个重要应用。

回想一下，如果存在可逆矩阵$\mathbf{P}$，使得$\mathbf{D}={\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}$，则称矩阵$\mathbf{A}$、$\mathbf{D}$是相似的（定义2.22）。更具体地说，我们将研究矩阵$\mathbf{A}$，它相似于对角线元素为$\mathbf{A}$的特征值的对角矩阵$\mathbf{D}$。

定义 4.19 可对角化矩阵

矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$如果相似于对角矩阵，则称它是可对角化的，即存在可逆矩阵$\mathbf{P}\in {\mathbb{R}}^{n\times n}$，使得$\mathbf{D}={\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}$

在下文中，我们将看到矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的对角化实际是在另一个基中表示相同线性映射的一种方法，这个基由$\mathbf{A}$的特征向量组成。

对于矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，标量${\lambda }_1,\dots ,{\lambda }_n$以及${\mathbb{R}}^n$中的向量${\mathbf{p}}_1,\dots ,{\mathbf{p}}_n$。我们定义$\mathbf{P}:=\left[{\mathbf{p}}_1,\dots ,{\mathbf{p}}_n\right]$并令$\mathbf{D}\in {\mathbb{R}}^{n\times n}$为对角矩阵，对角元素为${\lambda }_1,\dots ,{\lambda }_n$，那么我们可以证明
$$\mathbf{A}\mathbf{P}=\mathbf{P}\mathbf{D}$$
成立当且仅当${\lambda }_1,\dots ,{\lambda }_n$为$\mathbf{A}$的特征值，${\mathbf{p}}_1,\dots ,{\mathbf{p}}_n$为相应的$\mathbf{A}$的特征向量。

这个结论成立是因为：
$$\mathbf{A}\mathbf{P}=\mathbf{A}\left[{\mathbf{p}}_1,\dots ,{\mathbf{p}}_n\right]=\left[\mathbf{A}{\mathbf{p}}_1,\dots ,\mathbf{A}{\mathbf{p}}_n\right]$$
$$\mathbf{P}\mathbf{D}=\left[{\mathbf{p}}_1,\dots ,{\mathbf{p}}_n\right]\left[\begin{array}{ccc}{\lambda }_1& & 0\\ & \ddots & \\ 0& & {\lambda }_n\end{array}\right]=\left[{\lambda }_1{\mathbf{p}}_1,\dots ,{\lambda }_n{\mathbf{p}}_n\right]$$
则$\mathbf{A}\mathbf{P}=\mathbf{P}\mathbf{D}$意味着：
$$\begin{array}{rl}\mathbf{A}{\mathbf{p}}_1& ={\lambda }_1{\mathbf{p}}_1\\ & ⋮\\ {\mathbf{A}\mathbf{p}}_n& ={\lambda }_n{\mathbf{p}}_n\end{array}$$
因此，$\mathbf{P}$的列必须为$\mathbf{A}$的特征向量。

我们的定理要求$\mathbf{P}\in {\mathbb{R}}^{n\times n}$是可逆的，即$\mathbf{P}$是满秩的（定理4.3），这需要$n$个线性独立的特征向量${\mathbf{p}}_1,\dots ,{\mathbf{p}}_n$，即${\mathbf{p}}_i$形成${\mathbb{R}}^n$的基。

定理 4.20特征分解 (Eigendecomposition)

方阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$可以被分解为：
$$\mathbf{A}=\mathbf{P}\mathbf{D}{\mathbf{P}}^{-1}$$
其中$\mathbf{P}\in {\mathbb{R}}^{n\times n}$，$\mathbf{D}$为对角矩阵且对角元素为$\mathbf{A}$的特征值，当且仅当$\mathbf{A}$的特征向量形成${\mathbb{R}}^n$的基。

定理4.20意味着只有非亏损矩阵才可以对角化，并且$\mathbf{P}$的列是$\mathbf{A}$的$n$个特征向量。对于对称矩阵，我们可以得到更好的特征值分解结果。

定理 4.21

对称矩阵$\mathbf{S}\in {\mathbb{R}}^{n\times n}$可以被对角化。

定理4.21是承接谱定理(定理4.15)的。谱定理指出，对于对称矩阵，我们可以找到一个关于${\mathbb{R}}^n$的特征向量的标准正交基(ONB)。这使得$\mathbf{P}$是一个正交矩阵，因此$\mathbf{D}={\mathbf{P}}^{\top }\mathbf{A}\mathbf{P}$。

备注：
矩阵的Jordan标准型提供了一种分解方法，它适用于亏损矩阵，但超出了本书的范围。

图解特征分解：

图 4.7特征分解背后的直观感觉是一系列变换。从左上角到左下角:${\mathbf{P}}^{-1}$执行从标准基到特征基的基变化(这里在${\mathbb{R}}^2$中绘制，并描述为类似旋转的操作)。从左下角到右下角：$\mathbf{D}$使得沿着映射的正交特征向量进行缩放，这里用一个被拉伸成椭圆的圆来描述。从右下到右上：$\mathbf{P}$撤消基变化(描述为反向旋转)并恢复原来的坐标系。

我们可以如下解释矩阵的特征分解(参见图4.7)：

设$\mathbf{A}$是相对于标准基的线性映射的变换矩阵(${\mathbf{P}}^{-1}={\mathbf{P}}^{-1}\mathbf{I}$)。${\mathbf{P}}^{-1}$执行从标准基到特征基的基变换。它将特征向量${\mathbf{p}}_i$（图中的蓝色和橙色箭头）标识到标准基向量${\mathbf{e}}_i$上。对角矩阵$\mathbf{D}$通过特征值${\lambda }_i$沿这些轴缩放向量。得到${\lambda }_i{\mathbf{p}}_i$的同时，$\mathbf{P}$将这些缩放向量转换回标准/规范坐标。
.
例 4.11 特征分解

让我们来计算$\mathbf{A}=\frac{1}{2}\left[\begin{array}{cc}5& -2\\ -2& 5\end{array}\right]$的特征分解。

Step 1 计算特征值和特征向量

$\mathbf{A}$的特征方程为：
$$\begin{array}{l}\det (\mathbf{A}-\lambda \mathbf{I})=\det \left(\left[\begin{array}{lc}\frac{5}{2}-\lambda & -1\\ -1& \frac{5}{2}-\lambda \end{array}\right]\right)\\ ={\left(\frac{5}{2}-\lambda \right)}^2-1={\lambda }^2-5\lambda +\frac{21}{4}=\left(\lambda -\frac{7}{2}\right)\left(\lambda -\frac{3}{2}\right)\end{array}$$
因此$\mathbf{A}$的特征值为${\lambda }_1=\frac{7}{2}$和${\lambda }_2=\frac{3}{2}$（特征方程的根），并通过
$$\left[\begin{array}{ll}2& 1\\ 1& 2\end{array}\right]{\mathbf{p}}_1=\frac{7}{2}{\mathbf{p}}_1,\left[\begin{array}{ll}2& 1\\ 1& 2\end{array}\right]{\mathbf{p}}_2=\frac{3}{2}{\mathbf{p}}_2$$
得到相应的特征向量：
$${\mathbf{p}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ -1\end{array}\right],{\mathbf{p}}_2=\frac{1}{\sqrt{2}}\left[\begin{array}{l}1\\ 1\end{array}\right]$$

Step 2 检查是否存在

${\mathbf{p}}_1,{\mathbf{p}}_2$形成${\mathbb{R}}^2$的基，所以$\mathbf{A}$可对角化。

Step 3 构造矩阵$\mathbf{P}$使$\mathbf{A}$对角化

$$\mathbf{P}=\left[{\mathbf{p}}_1,{\mathbf{p}}_2\right]=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ -1& 1\end{array}\right]$$
然后我们得到：
$${\mathbf{P}}^{-1}\mathbf{A}\mathbf{P}=\left[\begin{array}{ll}\frac{7}{2}& 0\\ 0& \frac{3}{2}\end{array}\right]=\mathbf{D}$$
等价地，我们得到(${\mathbf{P}}^{-1}={\mathbf{P}}^{\top }$因为${\mathbf{p}}_1,{\mathbf{p}}_2$可以形成ONB)
$$\underset{A}{\frac{1}{2}\left[\begin{array}{cc}5& -2\\ -2& 5\end{array}\right]}=\underset{P}{\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ -1& 1\end{array}\right]}\underset{D}{\left[\begin{array}{cc}\frac{7}{2}& 0\\ 0& \frac{3}{2}\end{array}\right]}\underset{P^{-1}}{\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& -1\\ 1& 1\end{array}\right]}$$
整个变换过程如图：

• 对角矩阵$\mathbf{D}$的幂可以被高效计算。因此，我们可以通过特征值分解（如果存在）计算矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$的矩阵幂，即
  $${\mathbf{A}}^k={\left(\mathbf{P}\mathbf{D}{\mathbf{P}}^{-1}\right)}^k=\mathbf{P}{\mathbf{D}}^k{\mathbf{P}}^{-1}$$
  计算${\mathbf{D}}^k$是高效的，因为我们只需将此操作单独应用于所有对角线元素。

• 假设特征分解$\mathbf{A}=\mathbf{P}\mathbf{D}{\mathbf{P}}^{-1}$存在，那么
  $$\det (\mathbf{A})=\det \left(\mathbf{P}\mathbf{D}{\mathbf{P}}^{-1}\right)=\det (\mathbf{P})\det (\mathbf{D})\det \left({\mathbf{P}}^{-1}\right)=\det (\mathbf{D})=\prod _i{d}_{ii}$$
  允许我们高效地计算$\mathbf{A}$的行列式。

特征值分解需要该矩阵是方阵。在下一节中，我们将介绍一种更通用的矩阵分解技术，奇异值分解。

4.5 奇异值分解

矩阵奇异值分解( singular value decomposition, SVD)是线性代数中的一种核心的矩阵分解方法。它被称为“线性代数的基本定理”(Strang, 1993) ，因为它可以应用于所有矩阵，而不仅仅是方阵，而且总是存在的。此外，正如我们将在下文中探讨的，表示线性映射$\Phi :V\to W$的矩阵$\mathbf{A}$的奇异值分解量化了这两个向量空间的潜在几何变化。我们推荐Kalman(1996)和Roy和Banerjee(2014)的工作，以更深入地理解SVD。

定理 4.22 奇异值分解定理 (SVD Theorem)

令$\mathbf{A}\in {\mathbb{R}}^{m\times n}$为秩$r\in [0,\min (m,n)]$的矩形矩阵。$\mathbf{A}$奇异值分解的形式为：

其中$\mathbf{U}\in {\mathbb{R}}^{m\times m}$为正交矩阵，其列向量为${\mathbf{u}}_i,i=1,\dots ,m$；$\mathbf{V}\in {\mathbb{R}}^{m\times m}$也为正交矩阵，其列向量为${\mathbf{v}}_i,i=1,\dots ,n$；另外，$\mathbf{\Sigma }$为$m\times n$矩阵，${\Sigma }_{ii}={\sigma }_i⩾0$且，${\Sigma }_{ij}=0,i\ne j$

$\mathbf{\Sigma }$的对角元素${\sigma }_i,i=1,\dots ,r$称为奇异值(singular values)，${\mathbf{u}}_i$称为右奇异向量(left-singular vectors)，${\mathbf{v}}_i$称为左奇异向量(right-singular vectors)，按照惯例，奇异值是有序的，即${\sigma }_1⩾{\sigma }_2⩾{\sigma }_r⩾0$。

奇异值矩阵$\mathbf{\Sigma }$是唯一的。但需要注意的是$\mathbf{\Sigma }\in {\mathbb{R}}^{m\times n}$是矩形的。特别地，$\mathbf{\Sigma }$与$\mathbf{A}$尺寸相同。这意味着$\mathbf{\Sigma }$有一个包含奇异值的对角子矩阵而其他元素用零填充。具体而言，如果$m>n$，那么$\mathbf{\Sigma }$具有直到第$n$行的对角线结构，然后从$n+1$行到$m$行都是$0^{\top }$。
$$\mathbf{\Sigma }=\left[\begin{array}{ccc}{\sigma }_1& 0& 0\\ 0& \ddots & 0\\ 0& 0& {\sigma }_n\\ 0& \dots & 0\\ ⋮& & ⋮\\ 0& \dots & 0\end{array}\right]$$

而如果$m<n$，那么$\mathbf{\Sigma }$具有直到第$m$列的对角线结构，然后从$m+1$列到$n$列都是$0$

$$\mathbf{\Sigma }=\left[\begin{array}{cccccc}{\sigma }_1& 0& 0& 0& \dots & 0\\ 0& \ddots & 0& ⋮& & ⋮\\ 0& 0& {\sigma }_m& 0& \dots & 0\end{array}\right]$$

备注：SVD对任意$\mathbf{A}\subset {\mathbb{R}}^{m\times n}$都成立。

4.5.1 几何图解SVD

图 4.8 对矩阵$\mathbf{A}\in {\mathbb{R}}^{3\times 2}$的SVD可用一系列变换直观理解。从左上角到左下角:${\mathbf{V}}^{\top }$ 在${\mathbb{R}}^2$中执行基的变化。左下角到右下角：$\mathbf{\Sigma }$缩放并从${\mathbb{R}}^2$映射到${\mathbb{R}}^3$。右下角的椭圆位于${\mathbb{R}}^3$。第三维正交于椭圆盘的表面。右下角到右上角：$\mathbf{U}$在${\mathbb{R}}^3$执行基变换。

奇异值分解提供了描述变换矩阵$\mathbf{A}$的几何直观性。下面，我们将把奇异值分解作为在基上执行的一系列线性变换来讨论。在示例4.12中，我们将SVD的变换矩阵应用于${\mathbb{R}}^2$中的一组向量，这使我们能够更清楚地看到每个变换的效果。

矩阵的奇异值分解可以解释为相应线性映射$\Phi :{\mathbb{R}}^n\to {\mathbb{R}}^m$分解为三个运算；如图4.8所示。SVD直观上与我们的特征分解相似：广义地说，奇异值分解通过${\mathbf{V}}^{\top }$进行基变换，然后通过奇异值矩阵$\mathbf{\Sigma }$进行尺度缩放和维数增加（或减少）。最后，它通过$\mathbf{U}$执行第二个基变换。SVD包含许多重要的细节和注意事项，下面我们将更详细地解释：

1、矩阵$\mathbf{V}$在域${\mathbb{R}}^n$中执行从$\tilde{B}$（由上图左上角的红色和橙色向量${\mathbf{v}}_1$和${\mathbf{v}}_2$表示）到标准基$B$的基变换。${\mathbf{V}}^{\top }={\mathbf{V}}^{-1}$执行从$B$到$\tilde{B}$的基变换。使得红色和橙色向量与图左下角的标准基对齐。
2、将坐标系改为$\tilde{C}$的同时(书中的$\tilde{B}$可能有误)，$\mathbf{\Sigma }$用奇异值${\sigma }_i$缩放新坐标（并增加或删除维度），即$\mathbf{\Sigma }$是$\Phi$相对于$\tilde{B}$和$\tilde{C}$的变换矩阵，表示为被拉伸并位于${\mathbf{e}}_1-{\mathbf{e}}_2$平面上的红色和橙色矢量，它现在嵌入在图右下角的第三维中。

3、$\mathbf{U}$在陪域${\mathbb{R}}^m$中执行基变换，从$\tilde{C}$变为${\mathbb{R}}^m$的标准基，由${\mathbf{e}}_1-{\mathbf{e}}_2$平面外的红色和橙色向量的旋转表示。如图4.8右上角所示。

SVD表示域和陪域（见线性代数中的像与核）的基变换。这与在同一向量空间中操作的特征分解形成对比：后者在相同的向量空间中应用相同的基变化，然后撤消。奇异值分解的特殊之处在于这两个不同的基同时被奇异值矩阵$\mathbf{\Sigma }$连接起来。

图 4.9SVD和向量(用圆盘表示)的映射。与图4.8中的结构方向相反。

例 4.12 向量与奇异值分解

考虑正方形网格中向量$\mathcal{X}\in {\mathbb{R}}^2$的一个映射，它嵌于以原点为中心大小为2×2的长方体。使用标准基，我们对这些向量进行映射：
$$\begin{array}{rl}\mathbf{A}& =\left[\begin{array}{cc}1& -0.8\\ 0& 1\\ 1& 0\end{array}\right]=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\\ & =\left[\begin{array}{ccc}-0.79& 0& -0.62\\ 0.38& -0.78& -0.49\\ -0.48& -0.62& 0.62\end{array}\right]\left[\begin{array}{cc}1.62& 0\\ 0& 1.0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}-0.78& 0.62\\ -0.62& -0.78\end{array}\right]\end{array}$$

我们从排列在网格中的向量集合$\mathcal{X}$(彩色点；参见图4.9的左上面板)开始。
我们应用${\mathbf{V}}^{\top }\in {\mathbb{R}}^{2\times 2}$旋转$\mathcal{X}$。旋转后的矢量显示在图4.9的左下角。我们现在使用奇异值矩阵$\mathbf{\Sigma }$将这些向量映射到陪域${\mathbb{R}}^3$(见图4.9右下角)。

请注意，所有向量都位于$x_1-x_2$平面中。第三个坐标总是0。$x_1-x_2$平面中的向量被奇异值拉伸。

向量集$\mathcal{X}$通过$\mathbf{A}$直接映射到配域${\mathbb{R}}^3$等于$\mathcal{X}$通过$\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$的变换，其中$\mathbf{U}$在配域${\mathbb{R}}^3$内执行旋转，使得映射的向量不再局限于$x_1-x_2$平面；但它们仍然在一个平面上，如图4.9右上角。

4.5.2 SVD的构建

接下来我们将讨论SVD存在的原因，并详细说明如何计算它。一般矩阵的奇异值分解与方阵的特征分解有一些相似之处。

备注：

对称正定(SPD)矩阵的特征分解
$$\mathbf{S}={\mathbf{S}}^{\top }=\mathbf{P}\mathbf{D}{\mathbf{P}}^{\top }$$
与相应的SVD做对比：
$$\mathbf{S}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$$
如果我们令
$$\mathbf{U}=\mathbf{P}=\mathbf{V},\mathbf{D}=\mathbf{\Sigma }$$
我们看到SPD矩阵的奇异值分解就是特征分解。

接下来，我们将探讨定理4.22成立的原因以及奇异值分解是如何构造的。求$\mathbf{A}\in {\mathbb{R}}^{m\times n}$的奇异值分解等价于分别求陪域${\mathbb{R}}^m$和陪域${\mathbb{R}}^n$的两组正交基$U=\left({\mathbf{u}}_1,\dots ,{\mathbf{u}}_m\right)$和$V=\left({\mathbf{v}}_1,\dots ,{\mathbf{v}}_n\right)$。根据这些有序基，我们将构造矩阵$\mathbf{U}$和$\mathbf{V}$。

让我们从构造右奇异向量开始。谱定理（定理4.15）告诉我们对称矩阵的特征向量形成一个标准正交基(ONB)，这也意味着它可以对角化。此外，从定理4.14我们可以从任意矩形矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$构造对称的半正定矩阵${\mathbf{A}}^{\top }\mathbf{A}\in {\mathbb{R}}^{n\times n}$。因此，我们总是可以对角化${\mathbf{A}}^{\top }\mathbf{A}$：
$${\mathbf{A}}^{\top }\mathbf{A}=\mathbf{P}\mathbf{D}{\mathbf{P}}^{\top }=\mathbf{P}\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_n\end{array}\right]{\mathbf{P}}^{\top }(4.72)$$
其中$\mathbf{P}$是正交矩阵，由正交特征基组成。${\lambda }_i⩾0$为${\mathbf{A}}^{\top }\mathbf{A}$的特征值。假设$\mathbf{A}$的SVD存在，则：
$${\mathbf{A}}^{\top }\mathbf{A}={\left(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\right)}^{\top }\left(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\right)=\mathbf{V}{\mathbf{\Sigma }}^{\top }{\mathbf{U}}^{\top }\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$$
其中$\mathbf{U}，\mathbf{V}$为正交矩阵。因此，由${\mathbf{U}}^{\top }\mathbf{U}=\mathbf{I}$，我们得到：
$${\mathbf{A}}^{\top }\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}^{\top }\mathbf{\Sigma }{\mathbf{V}}^{\top }=\mathbf{V}\left[\begin{array}{ccc}{\sigma }_1^2& 0& 0\\ 0& \ddots & 0\\ 0& 0& {\sigma }_n^2\end{array}\right]{\mathbf{V}}^{\top }(4.73)$$

对比(4.72)和(4.73)两个式子，我们得到：
$${\mathbf{V}}^{\top }={\mathbf{P}}^{\top }$$

$${\sigma }_i^2={\lambda }_i(4.75)$$

因此，组成$\mathbf{P}$的${\mathbf{A}}^{\top }\mathbf{A}$的特征向量是$\mathbf{A}$的右奇异向量$\mathbf{V}$。${\mathbf{A}}^{\top }\mathbf{A}$的特征值是$\mathbf{\Sigma }$中奇异值的平方。

为了得到左奇异向量$\mathbf{U}$，我们遵循类似的过程。我们首先计算对称矩阵$\mathbf{A}{\mathbf{A}}^{\top }\in {\mathbb{R}}^{m\times m}$（不是原来的${\mathbf{A}}^{\top }\mathbf{A}\in {\mathbb{R}}^{n\times n}$）的奇异值分解
)：

$$\mathbf{A}{\mathbf{A}}^{\top }=\left(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\right){\left(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\right)}^{\top }=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }\mathbf{V}{\mathbf{\Sigma }}^{\top }{\mathbf{U}}^{\top }$$
$$=\mathbf{U}\left[\begin{array}{ccc}{\sigma }_1^2& 0& 0\\ 0& \ddots & 0\\ 0& 0& {\sigma }_m^2\end{array}\right]{\mathbf{U}}^{\top }(4.76b)$$

谱定理告诉我们，$\mathbf{A}{\mathbf{A}}^{\top }=\mathbf{S}\mathbf{D}{\mathbf{S}}^{\top }$可以对角化，我们可以找到$\mathbf{A}{\mathbf{A}}^{\top }$的特征向量的标准正交基(ONB)，这些特征向量组成$\mathbf{S}$中。$\mathbf{A}{\mathbf{A}}^{\top }$的正交特征向量是左奇异向量$\mathbf{U}$，在奇异值分解的陪域中形成一个正交基。

由于$\mathbf{A}{\mathbf{A}}^{\top }$和${\mathbf{A}}^{\top }\mathbf{A}$具有相同的非零特征值（ 矩阵与其转置矩阵具有相同的特征值，但不一定具有相同的特征向量。），两种情况下的奇异值分解中$\mathbf{\Sigma }$矩阵的非零项是相同的。

最后，我们把SVD各个部分联系起来。我们在$\mathbf{V}$中有一个右奇异向量的正交集。为了完成奇异值分解的构造，我们将它们与正交向量$\mathbf{U}$联系起来。为了达到这个目的，我们利用了$\mathbf{A}$变换下${\mathbf{v}}_i$的像也必须是正交的这一事实（在3.4节中已经证明这一点）。对于$i\ne j$，我们要求$\mathbf{A}{\mathbf{v}}_i$和$\mathbf{A}{\mathbf{v}}_j$之间的内积必须为0。即对于任意两个正交向量${\mathbf{v}}_i,{\mathbf{v}}_j,i\ne j$，以下成立：
$${\left(\mathbf{A}{\mathbf{v}}_i\right)}^{\top }\left(\mathbf{A}{\mathbf{v}}_j\right)={\mathbf{v}}_i^{\top }\left({\mathbf{A}}^{\top }\mathbf{A}\right){\mathbf{v}}_j={\mathbf{v}}_i^{\top }\left({\lambda }_j{\mathbf{v}}_j\right)={\lambda }_j{\mathbf{v}}_i^{\top }{\mathbf{v}}_j=0$$

即对于$m⩾r$，$\left\{\mathbf{A}{\mathbf{v}}_1,\dots ,\mathbf{A}{\mathbf{v}}_r\right\}$是${\mathbb{R}}^m$的$r$维子空间的基成立。

为了完成奇异值分解的构造，我们还需要左奇异向量是标准正交的：我们对右奇异向量$\mathbf{A}{\mathbf{v}}_i$的像进行单位化，得到
$${\mathbf{u}}_i:=\frac{\mathbf{A}{\mathbf{v}}_i}{\Vert \mathbf{A}{\mathbf{v}}_i\Vert }=\frac{1}{\sqrt{{\lambda }_i}}\mathbf{A}{\mathbf{v}}_i=\frac{1}{{\sigma }_i}\mathbf{A}{\mathbf{v}}_i(4.78)$$
其中，最后一个等式由(4.75)和(4.76b)求得

因此，${\mathbf{A}}^{\top }\mathbf{A}$的特征向量，也即右奇异向量${\mathbf{v}}_i$，以及它们在$\mathbf{A}$变换后的像归一化得到的左奇异向量${\mathbf{u}}_i$，分别形成两个标准正交基，它们通过奇异值矩阵$\mathbf{\Sigma }$联系了起来。

让我们重新排列 (4.78) 公式，得到奇异值方程(singular value equation)
$$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i,i=1,\dots ,r(4.79)$$

这个方程与特征值方程$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$非常相似，但是左边和右边的向量不一样。

对于$n<m$的$\mathbf{A}$，奇异值方程 $\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$只适用于$i\le n$，对$i>n$的${\mathbf{u}}_i$则不起作用。然而，通过构造我们知道它们是标准正交的。相反地，对于$m<n$的$\mathbf{A}$，奇异值方程只适用于$i\le m$。对于$i>m$，$\mathbf{A}{\mathbf{v}}_i=0$，我们知道${\mathbf{v}}_i$形成了一个正交集。这意味着SVD还提供了$\mathbf{A}$的核（零空间）的正交基，即$\mathbf{A}\mathbf{x}=0$的向量集$\mathbf{x}$。

以${\mathbf{v}}_i$为列组合成$\mathbf{V}$，以${\mathbf{u}}_i$为列组合成$\mathbf{U}$，得到：
$$\mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma }$$

式中，$\mathbf{\Sigma }$的尺寸与$\mathbf{A}$相同，$1,\dots ,r$行为对角线结构。右乘${\mathbf{V}}^{\top }$产生$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\top }$，这是$\mathbf{A}$的奇异值分解。

例 4.13 计算SVD

计算以下矩阵的SVD
$$\mathbf{A}=\left[\begin{array}{ccc}1& 0& 1\\ -2& 1& 0\end{array}\right]$$

奇异值分解需要我们计算右奇异向量${\mathbf{v}}_j$、奇异值${\sigma }_k$和左奇异向量${\mathbf{u}}_i$

Step 1： ${\mathbf{A}}^{\top }\mathbf{A}$的特征基作为右奇异向量

首先，我们计算
$${\mathbf{A}}^{\top }\mathbf{A}=\left[\begin{array}{cc}1& -2\\ 0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{ccc}1& 0& 1\\ -2& 1& 0\end{array}\right]=\left[\begin{array}{ccc}5& -2& 1\\ -2& 1& 0\\ 1& 0& 1\end{array}\right]$$

我们通过${\mathbf{A}}^{\top }\mathbf{A}$的特征值分解计算奇异值和右奇异向量${\mathbf{v}}_j$，如下所示
$${\mathbf{A}}^{\top }\mathbf{A}=\left[\begin{array}{ccc}\frac{5}{\sqrt{30}}& 0& \frac{-1}{\sqrt{6}}\\ \frac{-2}{\sqrt{30}}& \frac{1}{\sqrt{5}}& \frac{-2}{\sqrt{6}}\\ \frac{1}{\sqrt{30}}& \frac{2}{\sqrt{5}}& \frac{1}{\sqrt{6}}\end{array}\right]\left[\begin{array}{ccc}6& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{ccc}\frac{5}{\sqrt{30}}& \frac{-2}{\sqrt{30}}& \frac{1}{\sqrt{30}}\\ 0& \frac{1}{\sqrt{5}}& \frac{2}{\sqrt{5}}\\ \frac{-1}{\sqrt{6}}& \frac{-2}{\sqrt{6}}& \frac{1}{\sqrt{6}}\end{array}\right]=\mathbf{P}\mathbf{D}{\mathbf{P}}^{\top }$$
我们得到作为$\mathbf{P}$的列的右奇异向量，这样
$$\mathbf{V}=\mathbf{P}=\left[\begin{array}{ccc}\frac{5}{\sqrt{30}}& 0& \frac{-1}{\sqrt{6}}\\ \frac{-2}{\sqrt{30}}& \frac{1}{\sqrt{5}}& \frac{-2}{\sqrt{6}}\\ \frac{1}{\sqrt{30}}& \frac{2}{\sqrt{5}}& \frac{1}{\sqrt{6}}\end{array}\right]$$

Step 2： 奇异值矩阵

由于奇异值${\sigma }_i$是${\mathbf{A}}^{\top }\mathbf{A}$的特征值的平方根，我们可以直接从$\mathbf{D}$得到它们。由于$\mathrm{rk}(\mathbf{A})=2$，只有两个非零奇异值：${\sigma }_1=\sqrt{6}$和${\sigma }_2=1$。奇异值矩阵的尺寸必须与$\mathbf{A}$相同，我们得到

$$\mathbf{\Sigma }=\left[\begin{array}{lll}\sqrt{6}& 0& 0\\ 0& 1& 0\end{array}\right]$$

Step3：左奇异向量作为右奇异向量像的归一化。

我们通过计算右奇异向量在$\mathbf{A}$变换下的像，并将其除以相应的奇异值进行归一化，得到左奇异向量。我们获得
$${\mathbf{u}}_1=\frac{1}{{\sigma }_1}\mathbf{A}{\mathbf{v}}_1=\frac{1}{\sqrt{6}}\left[\begin{array}{ccc}1& 0& 1\\ -2& 1& 0\end{array}\right]\left[\begin{array}{c}\frac{5}{\sqrt{30}}\\ \frac{-2}{\sqrt{30}}\\ \frac{1}{\sqrt{30}}\end{array}\right]=\left[\begin{array}{c}\frac{1}{\sqrt{5}}\\ -\frac{2}{\sqrt{5}}\end{array}\right]$$
$${\mathbf{u}}_2=\frac{1}{{\sigma }_2}\mathbf{A}{\mathbf{v}}_2=\frac{1}{1}\left[\begin{array}{ccc}1& 0& 1\\ -2& 1& 0\end{array}\right]\left[\begin{array}{c}0\\ \frac{1}{\sqrt{5}}\\ \frac{2}{\sqrt{5}}\end{array}\right]=\left[\begin{array}{c}\frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}\end{array}\right]$$
$$\mathbf{U}=\left[{\mathbf{u}}_1,{\mathbf{u}}_2\right]=\frac{1}{\sqrt{5}}\left[\begin{array}{cc}1& 2\\ -2& 1\end{array}\right]$$
请注意，在计算机上，这样计算的方法的数值性能较差，通常不借助于${\mathbf{A}}^{\top }\mathbf{A}$的特征值分解来计算$\mathbf{A}$的奇异值分解。

4.5.3 特征值分解 vs. 奇异值分解

考虑特征分解$\mathbf{A}=\mathbf{P}\mathbf{D}{\mathbf{P}}^{-1}$和奇异值分解$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{-1}$，下面回顾一下它们的核心内容：

• 对于任意矩阵${\mathbb{R}}^{m\times n}$，奇异值分解总是存在的。而特征分解仅对平方矩阵${\mathbb{R}}^{n\times n}$有效，并且仅当我们能找到${\mathbb{R}}^n$的特征向量的基时才存在

• 特征分解矩阵$\mathbf{P}$中的向量不一定是正交的，即基的变化不是简单的旋转和缩放。而另一方面，奇异值分解中矩阵$\mathbf{U}$和$\mathbf{V}$中的向量是正交的，因此它们确实表示旋转。

• 特征分解和奇异值分解都是三个线性映射的组合：
  – 1. 定义域的基变换
  – 2. 每个新基向量的缩放都是独立的并从定义域映射到陪域
  – 3. 陪域的基变换
  特征分解和奇异值分解的一个关键区别是，在奇异值分解中，定义域和陪域可以是不同维数的向量空间。

• 在奇异值分解中，左奇异向量矩阵$\mathbf{U}$和右奇异向量矩阵$\mathbf{V}$通常不是互逆的（它们在不同的向量空间中执行基变换）。在特征分解中，基变化矩阵$\mathbf{U}$和${\mathbf{U}}^{-1}$是互逆的。

• 在奇异值分解中，对角矩阵$\mathbf{\Sigma }$中的项都是实的、非负的，这对于特征分解中的对角矩阵则不一定成立。

• 奇异值分解和特征分解通过它们的投影关系密切相关
  – $\mathbf{A}$的左奇异向量是$\mathbf{A}{\mathbf{A}}^{\top }$的特征向量。
  – $\mathbf{A}$的右奇异向量是${\mathbf{A}}^{\top }\mathbf{A}$的特征向量
  – $\mathbf{A}$的非零奇异值是$\mathbf{A}{\mathbf{A}}^{\top }$和${\mathbf{A}}^{\top }\mathbf{A}$的非零特征值的平方根。

• 对于对称矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，特征值分解和奇异值分解是相同的，这符合谱定理(定理 4.15)。

值得简要讨论一下SVD的术语和约定，因为有些文献中使用了不同的版本。这些差异对数学分析结果无影响，但这些差异可能令人疑惑。

• 为了便于记法和抽象，我们使用了SVD记法，其中SVD被描述为具有左右两个奇异向量方阵和有一个奇异值非方阵。我们对SVD的这样的定义称为完整SVD(full SVD)
• 一些作者对奇异值分解的定义有点不同，主要集中在奇异值方阵上：对于$\mathbf{A}\in {\mathbb{R}}^{m\times n}，m\ge n$
  $$\underset{m\times n}{A}=\underset{m\times n}{U}\underset{n\times n}{\Sigma }{\underset{n\times n}{V}}^{\top }$$
  有时这种公式被称为简化SVD（reduced SVD，例如，Datta（2010））或SVD（例如，Press等人（2007））。这种替代格式仅仅改变了矩阵的构造方式，但保持了奇异值分解的数学结构不变。这个替代公式的优点在于$\mathbf{\Sigma }$是对角矩阵吧，就像在特征值分解中一样。
• 在4.6节中，我们将学习使用奇异值分解的矩阵逼近技术，也称为截断SVD(truncated SVD)。
• 可以定义秩为$r$的矩阵$\mathbf{A}$的奇异值分解，使得$\mathbf{U}$是$m\times r$矩阵，$\mathbf{\Sigma }$是$r\times r$的对角矩阵，$\mathbf{V}$是$r\times n$的矩阵。这种构造与我们的定义非常相似，并确保了对角矩阵$\mathbf{\Sigma }$只有对角线有非零项。这种替代符号的主要优点是$\mathbf{\Sigma }$是对角的，就像在特征值分解中一样。
• $\mathbf{A}$的奇异值分解只适用于$m>n$的$m\times n$矩阵这样限制实际上是不必要的。当$m<n$时，只会使得SVD分解产生的$\mathbf{\Sigma }$中零列数目比零行多，即奇异值${\sigma }_{m+1},\dots ,{\sigma }_n$为0。

奇异值分解在机器学习中有着广泛的应用，从曲线拟合中的最小二乘问题到线性方程组的求解。这些应用利用了SVD的各种重要性质和它与矩阵秩的关系以及它能用低秩矩阵逼近给定秩矩阵的能力。用奇异值分解替代一个矩阵通常具有这样的优点：使计算数值的舍入误差(numerical rounding errors)更为稳健。正如我们将在下一节中探讨的那样，SVD以“更简单”的矩阵来近似矩阵的能力扩大了机器学习的应用范围，从降维和主题建模到数据压缩和聚类(dimensionality reduction and topic modeling to data compression and clustering)。

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf