奇异值分解(SVD)

奇异值分解(SVD)

奇异值分解(SVD)是一种矩阵因子分解方法。任意一个m*n的矩阵，都可以表示为三个矩阵的乘积(因子分解)的形式，分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的m*n矩阵和n阶正交矩阵，称为该矩阵的奇异值分解。矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作出矩阵数据压缩的一种方法。即用因子分解的方式近似地表示原始矩阵，这种矩阵在平方损失意义下的最优近似。

一、奇异值分解的定义与性质

矩阵的奇异值分解是指，将一个非零的m*n实矩阵，表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解

其中U是m阶正交矩阵，V是n阶正交矩阵，是由降序排列的非负的对角元素组成的的矩形对角矩阵

称为矩阵的奇异值分解，称为矩阵A的奇异值,的列向量称为左奇异向量，的列向量成为右奇异向量

(1)紧奇异值分解与截断奇异值分解

紧凑奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵降低秩的奇异值分解。在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。奇异值分解是在平方损失意义下对矩阵的最优近似。紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩

(a)紧奇异值分解

设有实矩阵A，其秩为rank(A) = r,，则称为A的紧奇异值分解，即

其中是矩阵，是矩阵，是r阶对角矩阵，矩阵由完全奇异分解中的前r列，矩阵由V的前r列，矩阵由的前r个对角线元素得到，紧奇分解的对角矩阵的秩与原始矩阵A的秩相等

(b)截断奇异值分解

在矩阵的奇异值分解中，只取最大的k个奇异值(k < r,r为矩阵的秩）对应的部分，就得到矩阵的截断奇异值分解。实际应用中提到的矩阵的奇异值分解，通常指截断奇异值分解

设A为实矩阵，其秩rank(A)=r,且，，则称为矩阵A的截断奇异值分解

其中是矩阵，是n*k矩阵，是k阶对角矩阵；矩阵由完全奇异分解U的前k列，矩阵由V的前k列，矩阵由的前k个对角线元素得到。对角矩阵的秩比原始矩阵A的秩低。

(2)几何解释

从线性变换的角度理解奇异值分解，矩阵A表示从n维空间到m空间的一个线性变换，

x和Ax分别表示各自空间的向量。线性变换可以分解为三个简单的变换：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射。

对矩阵A进行奇异值分解，得到,V和U都是正交矩阵，所以V的列向量构成空间的一组标准正交基，表示中的正交坐标系的旋转或反射；U的列向量构成空间的一组标准正交基，表示中正交坐标系的旋转或反射；的对角元素是一组非负实数，表示中原始正坐标系坐标轴的倍的缩放变换。

任意一个向量，经过基于的线性变换，等价于经过坐标系的旋转或反射变换，坐标轴的缩放变换，以及坐标轴的旋转或反射变换U,得到相框

二、奇异值分解的方法

（1）确定和

矩阵A是的正交实矩阵，则矩阵是n阶实对称矩阵，因而的特征值都是实数，并且存在一个n阶正实矩阵V实现的对角化，使得成立，其中是n阶对角矩阵，其对角元素由的特征值组成。

而且，的特征值都是非负的。事实上，令是的一个特征值，x是对应的特征向量，则

于是

可以假设正交矩阵V的列排列使得对应的特征值形成降序排列。

计算特征值的平方根(实际上解释矩阵A的奇异值)

设矩阵A的秩是r,rank(A)=r,则矩阵的秩也是r。由于是对称矩阵，它的秩等于正的特征值的个数。

对应的

令

其中为的特征值对应的特征向量，为0特征值对应的特征向量。
则

这就是矩阵A的奇异值分解中的n阶正交矩阵V

令

则是个一个r阶对角矩阵，其对角线元素为按降序排列的正的，于是矩形对角矩阵可以表示为

这就是矩阵A的奇异值分解中的矩阵对角矩阵

（2）确定U

接着构造m阶正交实矩阵U
令

则有

的列向量构成正交基是因为

对的非零空间的一组标准正交基，令

并令

(3)得到奇异值分解

(4)证明