人工智能基础-特征分解与奇异值分解的的几何意义

https://www.toutiao.com/a6705374672046785038/

 

特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。

需要注意只有对可对角化矩阵才可以施以特征分解。

令 A 是一个 N×N 的方阵，且有 N 个线性无关的特征向量

 

这样， A 可以被分解为

 

其中Q是N×N方阵，且其第i列为A的特征向量。Λ是对角矩阵，其对角线上的元素为对应的特征值，也即

 

对特殊矩阵的特征分解

• 对称矩阵：任意的N×N实对称矩阵都有 N 个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成

 

• 其中Q为正交矩阵，Λ为实对角矩阵。
• 正规矩阵：类似地，一个复正规矩阵具有一组正交特征向量基，故正规矩阵可以被分解成

 

• 其中U为一个酉矩阵。进一步地，若 A 是埃尔米特矩阵，那么对角矩阵 Λ 的对角元全是实数。若 A 还是酉矩阵，则Λ 的所有对角元在复平面的单位圆上取得。

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。谱分析的基础是对称阵特征向量的分解，而奇异值分解则是谱分析理论在任意矩阵上的推广。

假设M是一个m×n阶矩阵，其中的元素全部属于域 K，也就是实数域或复数域。如此则存在一个分解使得

 

其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi，其中i即为M的奇异值。奇异值分解可以被用来计算矩阵的伪逆。若矩阵 M 的奇异值分解为

 

那么 M 的伪逆为

 

其中

 

是

 

的伪逆，并将其主对角线上每个非零元素都求倒数之后再转置得到的。求伪逆通常可以用来求解线性最小平方、最小二乘法问题。

矩阵的特征值分解与奇异值分解的几何意义

1、首先，矩阵可以认为是一种线性变换：确定了定义域空间与目标空间的两组基，就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b，这个过程中，线性变换的作用包含三类效应：旋转、缩放和投影。

2、奇异值分解体现了对线性变换这三种效用的一个析构。

在

 

中，U的列向量组成了一组标准正交基，V的列向量也是，这表示我们找到了U和V这两组基，A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间，并对每个方向做一定的缩放，缩放因子就是Σ中的各个奇异值，同时如果V的维度比U大，那么这个过程还包含了投影。

可见SVD将一个矩阵原本混合在一起的三种作用效果给分离了开来。

3、特征值分解则是对旋转和缩放两种效应的归并。因为特征值分解中的A为方阵，显然是不存在投影效应的。

特征值和特征向量由

 

得到。即对于一个处于A的特征向量x方向上的向量v而言，Av对v的线性变换作用则只表现在缩放上。或者说，我们找到了一组基（特征向量们），在这组基下，矩阵的作用效果仅仅是缩放。

当A为实对称矩阵时，特征向量之间是相互正交的，可以将上式写作

 

，这样看形式和SVD类似，即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上，并在每个方向进行了缩放，由于前后两组基都是x，即没有进行旋转和投影。