工程矩阵-SVD分解

1.特征值与特征向量

特征值满足的性质：

【注】主对角上元素的和称为矩阵的迹，即a11+a22..ann。

2.特征向量的性质

      定理1：互不相等的特征值所对应的特征向量线性无关。

【注】在线性代数里，矢量空间的一组元素中，若没有矢量可用有限个其他矢量的线性组合所表示，则称为线性无关或线性独立(linearly independent)，反之称为线性相关(linearly dependent)。例如在三维欧几里得空间R的三个矢量(1, 0, 0)，(0, 1, 0)和(0, 0, 1)线性无关。但(2, −1, 1)，(1, 0, 1)和(3, −1, 2)线性相关，因为第三个是前两个的和。

      定理2：互不相等的特征值所对应的特征向量并在一块所对应的向量组仍然线性无关。

3.SVD分解

     

【注】注意上面的r是A矩阵的秩

SVD分解的应用：

      （1） 源自数学中，求矩阵的伪逆，最小二乘
      （2） 降维的效果
      （3） 信息检索中，对词项-文档矩阵进行SVD分享，建立LSI 索引，达到更好的效果

4. 最小二乘与SVD分解

      对于齐次线性方程 A*X =0; 当A的行数大于列数时，就需要求解最小二乘解。在||X||=1的约束下，其最小二乘解为矩阵A'A最小特征值所对应的特征向量。使用SVD分解矩阵A，[U S V] = svd(A); U 由 A*A'的特征向量组成，V 由 A'*A的 特征向量组成，因此，奇异值矩阵S中最小的奇异值对应的V中的奇异向量即为最小二乘解。