矩阵的特征值分解与奇异值分解

部分转自http://blog.csdn.net/lipengcn/article/details/51992766

特征分解(Eigendecomposition),又称谱分解(Spectral decomposition)是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

令  A  是一个  N×N 的方阵 ,且有  N  个 线性无关 特征向量  。这样,  A  可以被分解为其中  Q  是 N × N 方阵,且其第  i 列为  A  的 特征向量  。  Λ  是 对角矩阵 ,其对角线上的元素为对应的特征值,也即     。这里需要注意只有 可对角化矩阵 才可以作特征分解。

对特殊矩阵的特征分解

  • 对称矩阵: 任意的  N × N   实对称矩阵都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成 其中  Q  为  正交矩阵 ,  Λ  为实 对角矩阵
  • 正规矩阵: 类似地,一个复正规矩阵具有一组正交 特征向量 基,故正规矩阵可以被分解成 其中  U  为一个 酉矩阵。进一步地,若 A 是埃尔米特矩阵,那么对角矩阵 Λ 的对角元全是实数。若 A 还是酉矩阵,则 Λ 的所有对角元在复平面单位圆上取得。

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性,但还是有明显的不同。谱分析的基础是对称阵特征向量的分解,而奇异值分解则是谱分析理论在任意矩阵上的推广。

假设M是一个 m×n阶矩阵 ,其中的元素全部属于域 K,也就是 实数域 或复数域。如此则存在一个分解使得  其中U是m×m阶 酉矩阵 ;Σ是半正定m×n阶对角矩阵;而V*,即V的 共轭转置 ,是n×n阶 酉矩阵 。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi,其中i即为M的奇异值。
奇异值分解可以被用来计算矩阵的伪逆。若矩阵  M 的奇异值分解为  ,那么  M 的伪逆为  其中     的伪逆,并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解 线性最小平方、最小二乘法 问题。

矩阵的特征值分解与奇异值分解的几何意义

1、首先,矩阵可以认为是一种线性变换:确定了定义域空间与目标空间的两组基,就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b,这个过程中,线性变换的作用包含三类效应:旋转缩放投影

2、奇异值分解体现了对线性变换这三种效用的一个析构。 

中,U的列向量组成了一组标准正交基,V的列向量也是,这表示我们找到了U和V这两组基,A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间,并对每个方向做一定的缩放,缩放因子就是Σ中的各个奇异值,同时如果V的维度比U大,那么这个过程还包含了投影。 

可见SVD将一个矩阵原本混合在一起的三种作用效果给分离了开来。

3、特征值分解则是对旋转和缩放两种效应的归并。因为特征值分解中的A为方阵,显然是不存在投影效应的。 
特征值和特征向量由得到。即对于一个处于A的特征向量x方向上的向量v而言,Av对v的线性变换作用则只表现在缩放上。或者说,我们找到了一组基(特征向量们),在这组基下,矩阵的作用效果仅仅是缩放。 
当A为实对称矩阵时,特征向量之间是相互正交的,可以将上式写作,这样看形式和SVD类似,即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上,并在每个方向进行了缩放,由于前后两组基都是x,即没有进行旋转和投影。


你可能感兴趣的:(矩阵论)