线性代数之 矩阵的特征值，特征向量，特征分解

前言

矩阵的特征分解是比较基础的知识了，但是应用却十分广泛，比如主成分分析、矩阵分解之类的。现在回顾一下矩阵特征值的相关知识。

特征值和特征向量

定义：对于n阶实方阵$A$，如果存在非零向量$x$使得$Ax=\lambda x,\lambda \in R$，则称$\lambda$是矩阵$A$的一个特征值，$x$是$A$的属于$\lambda$的特征向量。

以上数学定义比较简单但是不够直观。从几何上更容易理解：矩阵乘法实际上是对向量的线性变换（也就是对向量旋转和伸缩），特征向量就是经过线性变换后方向不变的向量，特征值就是伸缩量。

求矩阵特征值

$$\begin{gathered} Ax=\lambda x \\ (\lambda E-A)x=0 \\ 矩阵方程有非零解，说明(\lambda E-A)是奇异矩阵 \\ |\lambda E-A|=0 \end{gathered}$$
$|\lambda E-A|$是矩阵$A$的特征多项式，求解得到$A$的所有特征值，然后将特征值带回$Ax=\lambda x$得到对应的特征向量。

不同特征值的特征向量是线性无关的，证明如下：
$$\begin{gathered} A{x}_1={\lambda }_1{x}_1 \\ A{x}_2={\lambda }_2{x}_2 \\ 如果x_1,x_2线性相关，则存在非全零k_1,k_2使得 \\ {k}_1{x}_1+k_2{x}_2=0 \\ {x}_1=-k_2{x}_2/k_1 \\ -A{k}_2{x}_2/k_1=-{\lambda }_1{k}_2{x}_2/k_1 \\ A{x}_2={\lambda }_1{x}_2 \\ 这样x_2就是{\lambda }_1的特征向量了，与题设矛盾，得证 \end{gathered}$$

同一特征值的不同特征向量，可能相关也可能无关，取决于代入特征值后，齐次线性方程组对应矩阵的秩。

矩阵的特征分解

n阶矩阵A能够特征分解的充要条件是，A有n个线性无关的特征向量。

求出矩阵所有特征值和特征向量后：
$$\begin{gathered} A{x}_1={\lambda }_1{x}_1 \\ A{x}_2={\lambda }_2{x}_2 \\ A{x}_3={\lambda }_3{x}_3 \\ A[x_1,x_2,x_3]=[{\lambda }_1{x}_1,{\lambda }_2{x}_2,{\lambda }_3{x}_3] \\ =[x_1,x_2,x_3]diag[{\lambda }_1,{\lambda }_2,{\lambda }_3] \\ A=[x_1,x_2,x_3]diag[{\lambda }_1,{\lambda }_2,{\lambda }_3][x_1,x_2,x_3{]}^{-1} \\ A=X\Lambda X^{-1} \end{gathered}$$
以上就是特征分解的过程。

补充：实对称矩阵

如果元素全是实数并且$A=A^T$，则A是实对称矩阵。

实对称矩阵具有几个有用的性质：

性质1.特征值和特征向量都是在实数域内。

性质2.不同特征值对应的特征向量正交。

性质3.n重特征值有n个线性无关的特征向量。

性质4.实对称矩阵一定能够特征分解。

后记

矩阵的特征值和特征向量给出了一种可能的将矩阵分解的方法：特征分解（矩阵对角化）。下一次将介绍矩阵的另一种特性：奇异值与奇异分解。