矩阵的特征值与奇异值

特征值分解（EVD）

对于$n$阶方阵$\mathbf{A}$来说，其特征值定义为：
$$\mathbf{A}\mathbf{u}=\lambda \mathbf{u}$$

式中$\lambda$为矩阵$\mathbf{A}$的特征值，$\mathbf{u}$为矩阵$\mathbf{A}$的特征矢量。进一步地，如果$\mathbf{A}$为实对称矩阵，且我们求出了矩阵$\mathbf{A}$所有的特征值$\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}$和对应的特征矢量$\{{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n\}$。对于实对称矩阵来说，其特征矢量两两正交，因此对于所有的特征值和特征矢量，我们有：
$$\begin{array}{rl}& \{\begin{array}{rl}\mathbf{A}{\mathbf{u}}_1& ={\lambda }_1{\mathbf{u}}_1\\ \mathbf{A}{\mathbf{u}}_2& ={\lambda }_2{\mathbf{u}}_2\\ & ⋮\\ \mathbf{A}{\mathbf{u}}_n& ={\lambda }_n{\mathbf{u}}_n\end{array}\\ \Rightarrow \mathbf{A}\underset{\mathbf{U}}{\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\end{array}\right]}& =\underset{\mathbf{U}}{\left[\begin{array}{cccc}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_n\end{array}\right]}\underset{\mathbf{\Lambda }}{\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]}\\ \Rightarrow \mathbf{A}\mathbf{U}& =\mathbf{U}\mathbf{\Lambda }\\ \Rightarrow \mathbf{A}& =\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{-1}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T\end{array}$$

上式即为实对称矩阵的特征值分解。

由于$\{{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n\}$相互正交，其实际上是$n$维空间的一组标准正交基，因此对于任意矢量$\mathbf{x}\in {\mathbb{R}}^n$来说，其可以表示为标准正交基的线性组合形式，即$\mathbf{x}=\sum _{i=1}^n{a}_i{\mathbf{u}}_i=\mathbf{U}{\left[a_1,a_2,\cdots ,a_n\right]}^T$，则：
$$\mathbf{A}\mathbf{x}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T\mathbf{U}\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$$

可以看出$\mathbf{A}$矩阵实际上对矢量$\mathbf{x}$进行了三步操作：1）首先反解出了$\mathbf{x}$在$n$维标准正交基下的系数；2）随后将其按照对应的特征值进行缩放；3）最后映射到回$n$维标准正交基下。在这一过程中，如果存在只有$k<n$个非零特征值，那么映射后的矢量亦只有$k$维非零，即落入了$n$维空间的子空间中。

EVD算法要求矩阵$\mathbf{A}$必须为实对称矩阵，但实际上在很多问题中，我们的矩阵$\mathbf{A}$是任意的$m\times n$矩阵，这是EVD无法完成矩阵的分解，就需要使用奇异值分解（SVD）方法。

特征值分解的一个广泛应用在于求解矩阵的逆，利用特征值分解我们很容易得到矩阵$\mathbf{A}$的逆矩阵为：
$${\mathbf{A}}^{-1}={\left(\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^T\right)}^{-1}={\mathbf{U}\mathbf{\Lambda }}^{-1}{\mathbf{U}}^T$$

奇异值分解（SVD）

对于任意秩为$k$的$m\times n$矩阵$\mathbf{A}$来说，参照EVD，其同样可以表示将一个$n$维矢量$\mathbf{x}$映射到$m$维标准正交空间，即我们同样可以将$\mathbf{A}$分解为一个$m$维标准正交基矩阵$\mathbf{U}=\left[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_m\right]$、一个增广的对角矩阵$\mathbf{\Sigma }$和一个$n$维标准正交基矩阵的转置${\mathbf{V}}^T={\left[{\mathbf{v}}_1^T,{\mathbf{v}}_2^T,\cdots ,{\mathbf{v}}_n^T\right]}^T$的乘积形式，即：
$${\mathbf{A}}_{m\times n}={\mathbf{U}}_{m\times m}{\mathbf{\Sigma }}_{m\times n}{\mathbf{V}}_{n\times n}^T$$

虽然$\mathbf{A}$本身不是实对称矩阵，但$\mathbf{A}{\mathbf{A}}^T$以及${\mathbf{A}}^T\mathbf{A}$是实对称矩阵，因此分别有：
$$\begin{array}{rl}\mathbf{A}{\mathbf{A}}^T& =\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{V}{\mathbf{\Sigma }}^T{\mathbf{U}}^T=\mathbf{U}\mathbf{\Sigma }{\mathbf{\Sigma }}^T{\mathbf{U}}^T\\ {\mathbf{A}}^T\mathbf{A}& =\mathbf{V}{\mathbf{\Sigma }}^T{\mathbf{U}}^T\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T=\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{\Sigma }{\mathbf{V}}^T\end{array}$$

显然根据EVD分解，矩阵$\mathbf{U}$和$\mathbf{V}$分别为由$\mathbf{A}{\mathbf{A}}^T$和${\mathbf{A}}^T\mathbf{A}$特征矢量构成的正交基矩阵。进一步地，由于$Rank(\mathbf{A})=k$，因此特征值矩阵$\mathbf{\Sigma }{\mathbf{\Sigma }}^T$和${\mathbf{\Sigma }}^T\mathbf{\Sigma }$只有$k$个非零项：
$$\begin{array}{rl}\mathbf{\Sigma }{\mathbf{\Sigma }}^T& ={\left[\begin{array}{cccccc}{\lambda }_1& & & & & \\ & \ddots & & & & \\ & & {\lambda }_k& & & \\ & & & 0& & \\ & & & & \ddots & \\ & & & & & 0\end{array}\right]}_{m\times m}={\left[\begin{array}{cc}{\mathbf{\lambda }}_{k\times k}& 0\\ 0& 0\end{array}\right]}_{m\times m}\\ {\mathbf{\Sigma }}^T\mathbf{\Sigma }& ={\left[\begin{array}{cc}{\mathbf{\lambda }}_{k\times k}& 0\\ 0& 0\end{array}\right]}_{n\times n}\end{array}$$

同时利用$\mathbf{\Sigma }$只存在主对角线元素有：
$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}\sqrt{{\lambda }_1}& & & & \\ & \ddots & & & \\ & & \sqrt{{\lambda }_k}& \cdots & 0\\ & & ⋮& \ddots & \\ & & 0& & 0\end{array}\right]=\left[\begin{array}{cc}\sqrt{\mathbf{\lambda }}& 0\\ 0& 0\end{array}\right]$$

即奇异值${\sigma }_i=\sqrt{{\lambda }_i}$。

至此，我们推到了一般矩阵的SVD分解可以写为如下形式：
$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$
其中$\mathbf{U}$称为矩阵$\mathbf{A}$的左奇异值矩阵，$\mathbf{V}$称为矩阵$\mathbf{A}$的右奇异值矩阵。

SVD的性质及应用

矩阵降维

在前面的分析中我们知道，对于秩为$k$的$m\times n$矩阵$\mathbf{A}$来说，其非零奇异值只有$k$个，我们将SVD分解中的三个矩阵其写成分块矩阵形式有：
$$\mathbf{A}=\left[\begin{array}{cc}{\mathbf{u}}_k& {\mathbf{u}}_{m-k}\end{array}\right]\left[\begin{array}{cc}{\mathbf{\sigma }}_k& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_k^T\\ {\mathbf{v}}_{n-k}^T\end{array}\right]=\left[\begin{array}{cc}{\mathbf{u}}_k{\mathbf{\sigma }}_k{\mathbf{v}}_k^T& 0\\ 0& 0\end{array}\right]$$

可以看出，$\mathbf{A}$矩阵所包含的信息量完全等价于${\mathbf{u}}_k{\mathbf{\sigma }}_k{\mathbf{v}}_k^T$这三个小矩阵的乘积，显然矩阵计算的维数得到了显著下降，这也是SVD算法被广泛用于PCA降维的原因。

求解齐次方程

对于齐次方程$\mathbf{A}\mathbf{x}=0$来说，若其满秩，则方程只有零解。而在参数拟和等问题中，我们经常会遇到量测的数量$m$远大于待估计变量的数量$n$的情况，此时方程$\mathbf{A}\mathbf{x}=0$是超定方程（$m>n$）。这类方程并没有精确解，只能求解最小二乘解，而SVD正是求解最小二乘解的常用方法。

记需要求解的最小二乘代价函数为（为了书写方便这里省略常系数$\frac{1}{2}$）：
$$\mathbf{e}(\mathbf{x})=\Vert \mathbf{A}\mathbf{x}{\Vert }^2={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{A}\mathbf{x}$$

带入矩阵$\mathbf{A}$的SVD分解有（注意这里矩阵$\mathbf{A}$必须是列满秩的，即存在$n$个非零的奇异值）：
$$\begin{array}{rl}\mathbf{e}(\mathbf{x})& ={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{A}\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{U}{\mathbf{U}}^T\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}\left[\begin{array}{ccc}{\sigma }_1^2& & \\ & \ddots & \\ & & {\sigma }_n^2\end{array}\right]{\mathbf{V}}^T\mathbf{x}\end{array}$$

由于$\{{\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n\}$是$n$维空间的标准正交基，因此$\mathbf{x}$可以表示为$\mathbf{x}=\sum _{i=1}^n{a}_i{\mathbf{v}}_i=\mathbf{V}{\left[a_1,a_2,\cdots ,a_n\right]}^T$，带入代价函数有：
$$\begin{array}{rl}\mathbf{e}(\mathbf{x})& ={\mathbf{x}}^T\mathbf{V}\left[\begin{array}{ccc}{\sigma }_1^2& & \\ & \ddots & \\ & & {\sigma }_n^2\end{array}\right]{\mathbf{V}}^T\mathbf{x}\\ & =\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]{\mathbf{V}}^T\mathbf{V}\left[\begin{array}{ccc}{\sigma }_1^2& & \\ & \ddots & \\ & & {\sigma }_k^2\end{array}\right]{\mathbf{V}}^T\mathbf{V}\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]\\ & =\sum _{i=1}^n{a}_i^2{\sigma }_i^2\end{array}\text{\hspace{1em}(1)}$$

我们假设奇异值矩阵的排列顺序是有小到大的，同时，由于齐次方程两侧乘以常系数并不会改变方程解的情况，因此我们可以引入约束$\Vert x\Vert =1$，那么有：
$$\Vert x{\Vert }^2=1=\sum _{i=1}^n\sum _{j=1}^n{a}_i{a}_j{\mathbf{v}}_i^T{\mathbf{v}}_j=\sum _{i=1}^n{a}_i^2\text{\hspace{1em}(2)}$$

显然式（1）取得最小值的条件是除最小奇异值外所有奇异值项的系数为0，联立式（2）可以进一步得到$a_n^2=1\Rightarrow a_n=1$。带回$\mathbf{x}$的表达式有：
$$\mathbf{x}=\sum _{i=1}^n{a}_i{\mathbf{v}}_i={\mathbf{v}}_n$$

即$\mathbf{x}$为$\mathbf{A}$最小奇异值${\sigma }_n$对应的右奇异值矢量${\mathbf{v}}_n$。

上述结论成立的条件是矩阵$\mathbf{A}$存在$n$个非零奇异值，即至少是列满秩的。若矩阵$\mathbf{A}$不满秩，那么其对应的最小二乘如下：
$$\begin{array}{rl}\mathbf{e}(\mathbf{x})& ={\mathbf{x}}^T{\mathbf{A}}^T\mathbf{A}\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{U}{\mathbf{U}}^T\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}{\mathbf{\Sigma }}^T\mathbf{\Sigma }{\mathbf{V}}^T\mathbf{x}\\ & ={\mathbf{x}}^T\mathbf{V}\left[\begin{array}{cccc}{\sigma }_1^2& & & \\ & \ddots & & \\ & & {\sigma }_k^2& \\ & & & 0_{n-k}\end{array}\right]{\mathbf{V}}^T\mathbf{x}\end{array}$$

可以看出此时该最小二乘存在$n-k$维的零空间，前$k$维可以按同样的方法确定，而后$n-k$维则是自由变量，可以任意变化。