An introduction to SVD

        本文介绍奇异值分解这一数学工具。首先介绍方阵的特征值和特征向量，在此基础上介绍方阵的特征分解。针对更为一般的矩阵，我们介绍其“特征分解”方法——奇异值分解。

1. 特征值与特征向量

        对于方阵，常数，非零向量，若满足下式：

则称为矩阵的特征值，为矩阵属于的特征向量。

        对上式变换得到：

由于为非零向量，则可得：。

        上式可写为：

其中为矩阵的特征多项式，为矩阵的特征方程。

        特征值与特征向量求解方法：

        矩阵的特征值即为其特征方程的根。根据特征方程求解得到的特征值带入可求得对应的特征向量。

2. 特征分解

        针对方阵的个特征值，求解对应的特征向量。根据特征值与特征向量的定义可得：

 即：

        一般我们在求得矩阵特征值对应的特征向量时均对其标准化，即，故由特征向量组成的矩阵矩阵有，即，被称作酉矩阵。于是有下式：

上式称为矩阵的特征分解。

3. 奇异值分解

        假设矩阵为维矩阵，定义矩阵的奇异值分解为：

式中：为维酉矩阵；为维矩阵，除主对角线元素以外元素全为0，主对角线元素为奇异值；为维酉矩阵。

        矩阵为维矩阵，则为维方阵。由得到下式：

 可以得到：矩阵为矩阵特征向量所组成的矩阵，也被称为矩阵的左奇异向量组。

        同理可得：

可以得到：矩阵为矩阵特征向量所组成的矩阵，也被称为矩阵A的右奇异向量组。

        矩阵奇异值分解方法：

1.  利用特征分解求得左奇异向量组；
2.  利用特征分解求得右奇异向量组；
3.  由求得奇异值。

        以上便是本文全部内容。