SVD奇异值分解简述

SVD奇异值分解简述

1.什么是奇异值分解
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。奇异值分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。谱分析的基础是对称阵特征向量的分解,而奇异值分解则是谱分析理论在任意矩阵上的推广。
对称矩阵Symmetric Matrices)是指以主对角线为对称轴,各元素对应相等的矩阵。
厄米特矩阵(Hermitian Matrix,又译作“埃尔米特矩阵”或“厄米矩阵”),指的是自共轭矩阵。矩阵中每一个第i行第j列的元素都与第j行第i列的元素的共轭相等。埃尔米特矩阵主对角线上的元素都是实数的,其特征值也是实数。两个实部相等,虚部互为相反数的复数互为共轭复数(conjugate complex number)。
2.奇异值分解的理论
假设M是一个m×n阶矩阵,其中的元素全部属于域 K,也就是实数域或复数域。
如此则存在一个分解使得
在这里插入图片描述
其中U是m×m阶酉矩阵;Σ是半正定m×n阶对角矩阵;而V*,即V的共轭转置,是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,其中Σi即为M的奇异值。对于任意的奇异值分解,矩阵Σ的对角线上的元素等于M的奇异值。U和V的列分别是奇异值中的左、右奇异向量。
对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵,常写为diag(a1,a2,…,an) 。
酉矩阵:幺正矩阵表示的就是厄米共轭矩阵等于逆矩阵。对于实矩阵,厄米共轭就是转置,所以实正交表示就是转置矩阵等于逆矩阵。实正交表示是幺正表示的特例。
半正定矩阵是正定矩阵的推广。实对称矩阵A称为半正定的,如果二次型X’AX半正定,即对于任意不为0的实列向量X,都有X’AX≥0。
正定矩阵
(1)广义定义:设M是n阶方阵,如果对任何非零向量z,都有ZMz> 0,其中Z表示z的转置,就称M为正定矩阵。
(2)狭义定义:一个n阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z,都有ZMz> 0。其中Z表示z的转置。
SVD理论的几何意义可以做如下的归纳:对于每一个线性映射T: K → K,T把K的第i个基向量映射为K的第i个基向量的非负倍数,然后将余下的基向量映射为零向量。对照这些基向量,映射T就可以表示为一个非负对角阵。
3.SVD的应用
(1)奇异值分解可以被用来计算矩阵的伪逆。
(2)平行奇异值,把频率选择性衰落信道进行分解。
(3)矩阵近似值,奇异值分解在统计中的主要应用为主成分分析(PCA),一种数据分析方法,用来找出大量数据中所隐含的“模式”,它可以用在模式识别,数据压缩等方面。
4.SVD的数学公式
在这里插入图片描述
SVD奇异值分解简述_第1张图片
做特征值分解,得到的特征矩阵即为U和V;对特征值开方,可以得到所有的奇异值。
实例:
SVD奇异值分解简述_第2张图片
SVD奇异值分解简述_第3张图片
SVD奇异值分解简述_第4张图片
在这里插入图片描述
5.SVD涉及的特征值分解EVD
SVD奇异值分解简述_第5张图片
特征分解,又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。
SVD奇异值分解简述_第6张图片

6.matlab的实现
SVD奇异值分解简述_第7张图片
SVD奇异值分解简述_第8张图片
参考文献:
(1)https://www.cnblogs.com/endlesscoding/p/10033527.html
(2)https://blog.csdn.net/zhongkejingwang/article/details/43053513

你可能感兴趣的:(matlab,线性代数,SVD,奇异值分解)