An introduction to SVD

        本文介绍奇异值分解这一数学工具。首先介绍方阵的特征值和特征向量,在此基础上介绍方阵的特征分解。针对更为一般的矩阵,我们介绍其“特征分解”方法——奇异值分解。

1. 特征值与特征向量

        对于方阵A_{n\times n},常数\lambda,非零向量u,若满足下式:

Au=\lambda u

则称\lambda为矩阵A的特征值,u为矩阵A属于\lambda的特征向量。

        对上式变换得到:

\left ( \lambda I-A \right )u=0

由于u为非零向量,则可得:\det \left ( \lambda I-A \right ) = 0

        上式可写为:

\det \left ( \lambda I-A \right )=\begin{vmatrix} \lambda - a_{11} & -a_{12} & \cdots & -a_{1n}\\ -a_{21} & \lambda - a_{22} & \cdots & -a_{2n}\\ \vdots & \vdots & \ddots & \vdots \\ -a_{n1} & - a_{n2} & \cdots & \lambda - a_{nn} \end{vmatrix}=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}=0

其中p\left ( \lambda \right )=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}为矩阵A的特征多项式,p\left ( \lambda \right )=\sum_{i=0}^{n}p_{i}\lambda ^{n-i}=0为矩阵A的特征方程。

        特征值与特征向量求解方法:

        矩阵A的特征值即为其特征方程的根。根据特征方程求解得到的特征值带入\left ( \lambda I-A \right )u=0可求得对应的特征向量。

2. 特征分解

        针对方阵A_{n\times n}n个特征值\lambda _{1}\geqslant \lambda _{2}\geqslant \cdots \geqslant \lambda _{n},求解对应的特征向量\left \{ \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right \}。根据特征值与特征向量的定义可得:

A\left ( \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right )=\left (\lambda _{1}\omega _{1} , \lambda _{2}\omega _{2}, \cdots , \lambda _{n}\omega _{n} \right )=\left ( \omega _{1} , \omega _{2}, \cdots , \omega _{n}\right )\cdot \begin{bmatrix} \lambda _{1} & \cdots &0 \\ \vdots & \ddots &\vdots \\ 0& \cdots & \lambda _{n} \end{bmatrix}

 即:

AW=W\Sigma \Rightarrow A=W \Sigma W^{-1}

        一般我们在求得矩阵特征值对应的特征向量时均对其标准化,即\omega _{i}^{T}\omega _{i}=1,故由特征向量组成的矩阵矩阵WW^{T}W=I,即W^{-1}=W^{T}W被称作酉矩阵。于是有下式:

A=W\Sigma W^{T}

上式称为矩阵A的特征分解。

3. 奇异值分解

        假设矩阵Am\times n维矩阵,定义矩阵A的奇异值分解为:

A=U\Sigma V^{T}

式中:Um\times m维酉矩阵;\Sigmam\times n维矩阵,除主对角线元素以外元素全为0,主对角线元素为奇异值;Vn\times n维酉矩阵。

        矩阵Am\times n维矩阵,则AA^{T}m\times m维方阵。由A=U\Sigma V^{T}得到下式:

AA^{T}=U\Sigma V^{T}V\Sigma^{T}U^{T}=U\Sigma\Sigma^{T}U^{T}

 可以得到:矩阵U为矩阵AA^{T}特征向量所组成的矩阵,也被称为矩阵A的左奇异向量组。

        同理可得:

A^{T}A=V\Sigma ^{T}UU^{T}\Sigma V^{T}=V\Sigma ^{T}\Sigma V^{T}

可以得到:矩阵V为矩阵A^{T}A特征向量所组成的矩阵,也被称为矩阵A的右奇异向量组。

        矩阵A_{m\times n}奇异值分解方法:

  1.  利用AA^{T}特征分解求得左奇异向量组;
  2.  利用A^{T}A特征分解求得右奇异向量组;
  3.  由A=U\Sigma V^{T}\Rightarrow AV=U\Sigma V^{T}V=U\Sigma\Rightarrow Av_{i}=\sigma _{i}u_{i}\Rightarrow \sigma _{i}= Av_{i}/u_{i}求得奇异值。

        以上便是本文全部内容。

你可能感兴趣的:(Nonlinear,Optimization,人工智能,算法,矩阵)