SVD奇异值分解简述

SVD奇异值分解简述

1.什么是奇异值分解
奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，奇异值分解则是特征分解在任意矩阵上的推广。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。谱分析的基础是对称阵特征向量的分解，而奇异值分解则是谱分析理论在任意矩阵上的推广。
对称矩阵（Symmetric Matrices）是指以主对角线为对称轴，各元素对应相等的矩阵。
厄米特矩阵（Hermitian Matrix，又译作“埃尔米特矩阵”或“厄米矩阵”），指的是自共轭矩阵。矩阵中每一个第i行第j列的元素都与第j行第i列的元素的共轭相等。埃尔米特矩阵主对角线上的元素都是实数的，其特征值也是实数。两个实部相等，虚部互为相反数的复数互为共轭复数(conjugate complex number)。
2.奇异值分解的理论
假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是实数域或复数域。
如此则存在一个分解使得

其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi，其中Σi即为M的奇异值。对于任意的奇异值分解，矩阵Σ的对角线上的元素等于M的奇异值。U和V的列分别是奇异值中的左、右奇异向量。
对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵，常写为diag（a1，a2,…,an) 。
酉矩阵：幺正矩阵表示的就是厄米共轭矩阵等于逆矩阵。对于实矩阵，厄米共轭就是转置，所以实正交表示就是转置矩阵等于逆矩阵。实正交表示是幺正表示的特例。
半正定矩阵是正定矩阵的推广。实对称矩阵A称为半正定的，如果二次型X’AX半正定，即对于任意不为0的实列向量X，都有X’AX≥0。
正定矩阵
（1）广义定义：设M是n阶方阵，如果对任何非零向量z，都有ZMz> 0，其中Z表示z的转置，就称M为正定矩阵。
（2）狭义定义：一个n阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z，都有ZMz> 0。其中Z表示z的转置。
SVD理论的几何意义可以做如下的归纳：对于每一个线性映射T: K → K，T把K的第i个基向量映射为K的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量，映射T就可以表示为一个非负对角阵。
3.SVD的应用
（1）奇异值分解可以被用来计算矩阵的伪逆。
（2）平行奇异值，把频率选择性衰落信道进行分解。
（3）矩阵近似值，奇异值分解在统计中的主要应用为主成分分析（PCA），一种数据分析方法，用来找出大量数据中所隐含的“模式”，它可以用在模式识别，数据压缩等方面。
4.SVD的数学公式


做特征值分解，得到的特征矩阵即为U和V；对特征值开方，可以得到所有的奇异值。
实例：




5.SVD涉及的特征值分解EVD

特征分解，又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

6.matlab的实现


参考文献：
（1）https://www.cnblogs.com/endlesscoding/p/10033527.html
（2）https://blog.csdn.net/zhongkejingwang/article/details/43053513