Matlab学习笔记 奇异值、奇异矩阵、svd函数

奇异值：

奇异值分解法是线性代数中一种重要的矩阵分解法，在信号处理、统计学等领域有重要应用。

定义：设A为m*n阶矩阵，A'表示A的转置矩阵，A'*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。如果把A‘*A的特征值记为λi(A‘*A)，则σi(A)＝sqrt(λi(A’*A))。

奇异矩阵： 

  奇异矩阵是线性代数的概念，就是对应的行列式等于0的矩阵。

奇异矩阵的判断方法：首先，看这个矩阵是不是方阵（即行数和列数相等的矩阵。若行数和列数不相等，那就谈不上奇异矩阵和非奇异矩阵）。然后，再看此方阵的行列式|A|是否等于0，若等于0，称矩阵A为奇异矩阵；若不等于0，称矩阵A为非奇异矩阵。 同时，由|A|≠0可知矩阵A可逆，这样可以得出另外一个重要结论:可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。如果A为奇异矩阵，则AX=0有非零解或无解。如果A为非奇异矩阵，则AX=0有且只有唯一零解。

svd设A为m*n阶矩阵，A'表示A的转置矩阵，A'*A的n个特征值的非负平方根叫作A的奇异值。记为σi(A)。

奇异值分解：

奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。U和V中分别是A的奇异向量，而S是A的奇异值。AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。因此，奇异值分解和特征值问题紧密联系 。

定理和推论定理：

设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得：A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0 (i=1,…,r)，r=rank(A)。

说明：1、 奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。U和V中分别是A的奇异向量，而S是A的奇异值。AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。因此，奇异值分解和特征值问题紧密联系。

2、 奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。

奇异值分解函数 svd

格式： s = svd (A) %返回矩阵A的奇异值向量

     [U,S,V] = svd(A) %返回一个与A同大小的对角矩阵S，两个酉矩阵U和V，且满足= U*S*V'。若A为m×n阵，则U为m×m阵，V为n×n阵。奇异值在S的对角线上，非负且按降序排列

    [U1,S1,V1]=svd(X,0) %产生A的“经济型”分解，只计算出矩阵U的前n列和n×n阶的S。说明：1.“经济型”分解节省存储空间。2. U*S*V'＝U1*S1*V1'。

[1]矩阵近似值奇异值分解在统计中的主要应用为主成分分析（PCA），它是一种数据分析方法，用来找出大量数据中所隐含的“模式”，它可以用在模式识别，数据压缩等方面。PCA算法的作用是把数据集映射到低维空间中去。数据集的特征值（在SVD中用奇异值表征）按照重要性排列，降维的过程就是舍弃不重要的特征向量的过程，而剩下的特征向量张成空间为降维后的空间。正交矩阵正交矩阵是实数特殊化的酉矩阵，因此总是正规矩阵。尽管我们在这里只考虑实数矩阵，这个定义可用于其元素来自任何域的矩阵。正交矩阵毕竟是从内积自然引出的，对于复数的矩阵这导致了归一要求。

注意正交矩阵的定义：n阶‘实矩阵’ A称为正交矩阵，如果：A×A′=E（E为单位矩阵，A'表示“矩阵A的转置矩阵”。） 若A为正交阵，则下列诸条件是等价的:

1) A 是正交矩阵

2) A×A′=E（E为单位矩阵）

3) A′是正交矩阵

4) A的各行是单位向量且两两正交

5) A的各列是单位向量且两两正交

6) (Ax,Ay)=(x,y) x,y∈R

>> A=[1 2;3 4;5 6;7 8];
>> [U,S,V]=svd(A)
U =
-0.1525 -0.8226 -0.3945 -0.3800
-0.3499 -0.4214 0.2428 0.8007
-0.5474 -0.0201 0.6979 -0.4614
-0.7448 0.3812 -0.5462 0.0407
S =14.2691 0
0 0.6268
0 0
0 0
V =
-0.6414 0.7672
-0.7672 -0.6414
>> [U,S,V]=svd(A,0)
U =
-0.1525 -0.8226
-0.3499 -0.4214
-0.5474 -0.0201
-0.7448 0.3812
S =
14.2691 0
0 0.6268
V =
-0.6414 0.7672
-0.7672 -0.6414

参考：http://moorechia.blog.163.com/blog/static/464070902012040504067/

    http://blog.sina.com.cn/s/blog_6a67b5c50100n3g5.html