【AI】数学基础——线代（矩阵&特征值,特征向量&矩阵分解）

【AI】数学基础——线代（向量部分）

2.3 矩阵

2.3.1 二元方程组求解与行列式

二元方程组求解 $\{\begin{array}{r}{a}_{11}{x}_1+a_{12}{x}_2=b_1\\ a_{21}{x}_1+a_{22}{x}_2=b_2\end{array}$ 高斯消元 $\Rightarrow \{\begin{array}{r}{x}_1=\frac{b_1{a}_{22}-b_2{a}_{12}}{a_{11}{a}_{22}-a_{12}{a}_{21}}=\frac{|A_1|}{|A|}\\ x_2=\frac{b_2{a}_{11}-b_1{a}_{21}}{a_{11}{a}_{22}-a_{12}{a}_{21}}=\frac{|A_2|}{|A|}\end{array}$

行列式

$Det(A)=|A|$ ，表示面积
∣ a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a n 1 a n 2 ⋯ a n n ∣ = ∑ p 1 p 2 ⋯ p n ( − 1 ) τ ( p 1 p 2 ⋯ p n ) a 1 p 1 a 2 p 2 ⋯ a n p n \left\vert \begin{matrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{n1}&a_{n2}&\cdots&a_{nn} \end{matrix}\right\vert=\sum{p_1p_2\cdots p_n}(-1)^{\tau(p_1p_2\cdots p_n)}a_{1p_1}a_{2p_2}\cdots a_{np_n} ​a11​a21​⋮an1​​a12​a22​⋮an2​​⋯⋯⋱⋯​a1n​a2n​⋮ann​​ ​=∑p1​p2​⋯pn​(−1)τ(p1​p2​⋯pn​)a1p1​​a2p2​​⋯anpn​​
如： ∣ a b c d ∣ = a d − b c \left\vert \begin{matrix}a&b\\c&d\end{matrix}\right\vert=ad-bc ​ac​bd​ ​=ad−bc ，表示平行四边形面积

直线可表示为 $y=\frac{b}{a}x⟺bx-ay=0$ ，点到直线距离为 $\frac{|bc-ad|}{\sqrt{a^2+b^2}}$ 底边长为 $\sqrt{a^2+b^2}$ ，从几何角度，平行四边形面积为 $ad-bc$

---

∣ A ∣ = ∣ a b c d e f g h i ∣ \vert A\vert=\left\vert \begin{matrix}a&b&c\\d&e&f\\g&h&i\end{matrix}\right\vert ∣A∣= ​adg​beh​cfi​ ​ 表示平行六面体体积

2.3.2 用矩阵形式表示数据

四个角度理解矩阵

A = ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) = ( α 1 , α 2 ⋯   , α n ) = ( β 1 β 2 ⋮ β n ) A=\left(\begin{matrix} a_{11}&a_{12}&\cdots&a_{1n}\\ a_{21}&a_{22}&\cdots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\ a_{m1}&a_{m2}&\cdots&a_{mn} \end{matrix}\right)=\left(\alpha_1,\alpha_2\cdots,\alpha_n\right)=\left(\begin{aligned}\beta_1\\\beta_2\\\vdots\\\beta_n\end{aligned}\right) A= ​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋱⋯​a1n​a2n​⋮amn​​ ​=(α1​,α2​⋯,αn​)= ​β1​β2​⋮βn​​ ​

用于表示数据 { D = ( X 1 X 2 ⋮ X n ) n 维特征 X i = ( x i 1 , x i 2 , ⋯   , x i n ) 第 i 个数据的 n 维特征值 \left\{\begin{aligned}&D=\left(\begin{aligned}X_1\\X_2\\\vdots\\X_n\end{aligned}\right)&n维特征\\&X_i=(x_{i1},x_{i2},\cdots,x_{in})&第i个数据的n维特征值\end{aligned}\right. ⎩ ⎨ ⎧​​D= ​X1​X2​⋮Xn​​ ​Xi​=(xi1​,xi2​,⋯,xin​)​n维特征第i个数据的n维特征值​

矩阵由行向量 ( α 1 α 2 ⋮ α n ) \left(\begin{matrix}\alpha_1\\\alpha_2\\\vdots\\\alpha_n\end{matrix}\right) ​α1​α2​⋮αn​​ ​ 或列向量 $\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\right)$

矩阵与行列式区别

行列式	矩阵
数字	阵列
行列数必须相等	行数$\ne$ 列数
共 $n^2$ 个元素	共 $m\times n$ 个元素
表示面积(体积)	表示变换过程

特殊矩阵

• 上三角阵

• 下三角阵

• 对角阵 $\Lambda$

• 单位阵 $I$

• $相等矩阵\subset 同型矩阵$

  相等矩阵必同型，同型矩阵未必相等

• Jacobian阵

  F i = ( ∂ f 1 ∂ x i ∂ f 2 ∂ x i ⋮ ∂ f m ∂ x i ) F_i=\left(\begin{aligned}\frac{\partial f_1}{\partial x_i}\\\frac{\partial f_2}{\partial x_i}\\\vdots\\\frac{\partial f_m}{\partial x_i}\end{aligned}\right) Fi​= ​∂xi​∂f1​​∂xi​∂f2​​⋮∂xi​∂fm​​​ ​ ，

  J F = ( F 1 , F 2 , ⋯   , F n ) = ( ∂ f 1 ∂ x 1 ∂ f 1 ∂ x 2 ⋯ ∂ f 1 ∂ x n ∂ f 2 ∂ x 1 ∂ f 2 ∂ x 2 ⋯ ∂ f 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ f m ∂ x 1 ∂ f m ∂ x 2 ⋯ ∂ f m ∂ x n ) = [ ▽ f ] i j = [ ∂ f ∂ x j ] i j J_F=\left(F_1,F_2,\cdots,F_n \right)=\left(\begin{matrix}\frac{\partial f_1}{\partial x_1}&\frac{\partial f_1}{\partial x_2}&\cdots&\frac{\partial f_1}{\partial x_n}\\\frac{\partial f_2}{\partial x_1}&\frac{\partial f_2}{\partial x_2}&\cdots&\frac{\partial f_2}{\partial x_n}\\\vdots&\vdots&\ddots&\vdots\\\frac{\partial f_m}{\partial x_1}&\frac{\partial f_m}{\partial x_2}&\cdots&\frac{\partial f_m}{\partial x_n}\end{matrix}\right)=[\bigtriangledown f]_{ij}=\left[\frac{\partial f}{\partial x_j}\right]_{ij} JF​=(F1​,F2​,⋯,Fn​)= ​∂x1​∂f1​​∂x1​∂f2​​⋮∂x1​∂fm​​​∂x2​∂f1​​∂x2​∂f2​​⋮∂x2​∂fm​​​⋯⋯⋱⋯​∂xn​∂f1​​∂xn​∂f2​​⋮∂xn​∂fm​​​ ​=[▽f]ij​=[∂xj​∂f​]ij​

  J F ′ = ( F 1 , F 2 , ⋯   , F n ) = ( ∂ 2 f 1 ∂ x 1 2 ∂ 2 f 1 ∂ x 1 ∂ x 2 ⋯ ∂ 2 f 1 ∂ x 1 ∂ x n ∂ 2 f 2 ∂ x 1 ∂ x 2 ∂ 2 f 2 ∂ x 2 2 ⋯ ∂ 2 f 2 ∂ x 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ 2 f m ∂ x 1 ∂ x m ∂ 2 f m ∂ x 2 ∂ x m ⋯ ∂ 2 f m ∂ x m ∂ x n ) = [ ▽ 2 f ] i j = [ ∂ 2 f ∂ x i ∂ x j ] i j J_F'=\left(F_1,F_2,\cdots,F_n \right)=\left(\begin{matrix}\frac{\partial^2 f_1}{\partial x_1^2}&\frac{\partial^2 f_1}{\partial x_1\partial x_2}&\cdots&\frac{\partial^2 f_1}{\partial x_1\partial x_n}\\\frac{\partial^2 f_2}{\partial x_1\partial x_2}&\frac{\partial^2 f_2}{\partial x_2^2}&\cdots&\frac{\partial^2 f_2}{\partial x_2\partial x_n}\\\vdots&\vdots&\ddots&\vdots\\\frac{\partial^2 f_m}{\partial x_1\partial x_m}&\frac{\partial^2 f_m}{\partial x_2\partial x_m}&\cdots&\frac{\partial^2 f_m}{\partial x_m\partial x_n}\end{matrix}\right)=[\bigtriangledown^2 f]_{ij}=\left[\frac{\partial^2 f}{\partial x_i\partial x_j}\right]_{ij} JF′​=(F1​,F2​,⋯,Fn​)= ​∂x12​∂2f1​​∂x1​∂x2​∂2f2​​⋮∂x1​∂xm​∂2fm​​​∂x1​∂x2​∂2f1​​∂x22​∂2f2​​⋮∂x2​∂xm​∂2fm​​​⋯⋯⋱⋯​∂x1​∂xn​∂2f1​​∂x2​∂xn​∂2f2​​⋮∂xm​∂xn​∂2fm​​​ ​=[▽2f]ij​=[∂xi​∂xj​∂2f​]ij​

2.3.3 矩阵的秩

有矩阵 A = ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a s 1 a s 2 ⋯ a s n ) A=\left(\begin{matrix}a_{11}&a_{12}&\cdots&a_{1n}\\a_{21}&a_{22}&\cdots&a_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{s1}&a_{s2}&\cdots&a_{sn}\\\end{matrix}\right) A= ​a11​a21​⋮as1​​a12​a22​⋮as2​​⋯⋯⋱⋯​a1n​a2n​⋮asn​​ ​

用 $n$ 维行向量表示 A = ( α 1 α 2 ⋮ α s ) A=\left(\begin{aligned}\alpha_1\\\alpha_2\\\vdots\\\alpha_s\end{aligned}\right) A= ​α1​α2​⋮αs​​ ​ ，${\alpha }_i=\left(a_{i1},{\alpha }_{i2},\cdots ,{\alpha }_{in}\right)$

用 $s$ 维列向量表示 $A=\left({\beta }_1,{\beta }_2,\cdots ,{\alpha }_s\right)$ ， β i = ( a 1 i a 2 i ⋮ a s i ) \beta_{i}=\left(\begin{aligned}a_{1i}\\a_{2i}\\\vdots\\a_{si}\end{aligned}\right) βi​= ​a1i​a2i​⋮asi​​ ​

矩阵的秩

行秩=列秩

$r(A)=r(行向量组)=r(列向量组)$

2.3.4 矩阵运算

有 $m\times n$ 阶矩阵，$A=(a_{ij}{)}_{m\times n}$ ，$B=(b_{ij}{)}_{m\times n}$

加减法

A + B = ( a 11 + b 11 a 12 + b 12 ⋯ a 1 n + b 1 n a 21 + b 21 a 22 + b 22 ⋯ a 2 n + b 2 n ⋮ ⋮ ⋱ ⋮ a n 1 + b n 1 a n 2 + b n 2 ⋯ a n n + b n n ) A+B=\left(\begin{matrix}a_{11}+b_{11}&a_{12}+b_{12}&\cdots&a_{1n}+b_{1n}\\a_{21}+b_{21}&a_{22}+b_{22}&\cdots&a_{2n}+b_{2n}\\\vdots&\vdots&\ddots&\vdots\\a_{n1}+b_{n1}&a_{n2}+b_{n2}&\cdots&a_{nn}+b_{nn}\\\end{matrix}\right) A+B= ​a11​+b11​a21​+b21​⋮an1​+bn1​​a12​+b12​a22​+b22​⋮an2​+bn2​​⋯⋯⋱⋯​a1n​+b1n​a2n​+b2n​⋮ann​+bnn​​ ​

数乘运算

λ A = A λ = ( λ a 11 λ a 12 ⋯ λ a 1 n λ a 21 λ a 22 ⋯ λ a 2 n ⋮ ⋮ ⋱ ⋮ λ a n 1 λ a n 2 ⋯ λ a n n ) \lambda A=A\lambda=\left(\begin{matrix}\lambda a_{11}&\lambda a_{12}&\cdots&\lambda a_{1n}\\\lambda a_{21}&\lambda a_{22}&\cdots&\lambda a_{2n}\\\vdots&\vdots&\ddots&\vdots\\\lambda a_{n1}&\lambda a_{n2}&\cdots&\lambda a_{nn}\end{matrix}\right) λA=Aλ= ​λa11​λa21​⋮λan1​​λa12​λa22​⋮λan2​​⋯⋯⋱⋯​λa1n​λa2n​⋮λann​​ ​

矩阵乘向量

线性变换角度

1. 对向量进行线性变换

$AX$ ： 对向量X进行线性变换
$$\{\begin{array}{r}主对角线上元素非零：拉伸\\ 非对角线上元素非零：旋转\end{array}$$

---

2. 对基进行线性变换

X = I ( x 1 ⋮ x n ) = ( e 1 , ⋯   , e n ) ( x 1 ⋮ x n ) X=I\left(\begin{aligned}x_1\\\vdots\\x_n\end{aligned}\right)=(e_1,\cdots,e_n)\left(\begin{aligned}x_1\\\vdots\\x_n\end{aligned}\right) X=I ​x1​⋮xn​​ ​=(e1​,⋯,en​) ​x1​⋮xn​​ ​

A X = A ( e 1 , ⋯   , e n ) ( x 1 ⋮ x n ) = ( A e 1 , ⋯   , A e n ) ( x 1 ⋮ x n ) AX=A(e_1,\cdots,e_n)\left(\begin{aligned}x_1\\\vdots\\x_n\end{aligned}\right)=(Ae_1,\cdots,Ae_n)\left(\begin{aligned}x_1\\\vdots\\x_n\end{aligned}\right) AX=A(e1​,⋯,en​) ​x1​⋮xn​​ ​=(Ae1​,⋯,Aen​) ​x1​⋮xn​​ ​

相当于对基进行变换

eg

$A=\left(\begin{array}{cc}3& 2\\ 2& 3\end{array}\right)$ ，$X=\left(\begin{array}{r}2\\ 2\end{array}\right)$

$IX=(e_1,e_2)\left(\begin{array}{r}2\\ 2\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)\left(\begin{array}{r}2\\ 2\end{array}\right)$ ，如图

$AX=AIX=\left({ϵ}_1,{ϵ}_2\right)\left(\begin{array}{r}2\\ 2\end{array}\right)=\left(\begin{array}{cc}3& 2\\ 2& 3\end{array}\right)\left(\begin{array}{r}2\\ 2\end{array}\right)$ 如图

---

3. 矩阵的秩对变换结果影响

eg1

$X={\left(\begin{array}{r}a\\ b\end{array}\right)}_{1\times 2}$ ，旋转阵 $A=\left[\begin{array}{cc}cos\theta & sin\theta \\ -sin\theta & \cos \theta \end{array}\right]$

$A\cdot X=\left(\begin{array}{r}acos\theta +bsin\theta \\ acos\theta -bsin\theta \end{array}\right)$，表示将向量 $X$ 旋转 $\theta$ 度

假设 $\theta =\frac{3\pi }{2}$ ，旋转阵 $A=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$ ，$AX=\left(\begin{array}{c}-b\\ a\end{array}\right)$

eg2

若变换阵为 $A=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

变换阵是二维的 $r(A)=2$ ，则对 $R^n$ 中所有点变换后也是二维的

变换阵是一维的 $r(A)=1$ ，则对 $R^n$ 中所有点变换后也是一维的

线性组合角度

从乘法运算角度， $Ax$ 的元素是向量内积

从线性组合角度理解：

$Ax$ 是 $A$ 的列的线性组合，

• $A$ 的列向量的所有线性组合生成的子空间记为 $C(A)$ ——由 $m$ 维列空间组成的秩 $r[C(A)]=r$ 的空间
• $AX=0$ 的解空间则为零空间，记为 $N(A)$ ——由 $n$ 维列向量组成的秩 $r[(N(A))]=n-r$ 的空间

同理，行向量右乘矩阵

• $A$ 的行向量的所有线性组合生成的子空间记为 $C(A^T)$ ——有 $n$ 维列向量组成的秩 $r[C(A^T)]=r$ 的空间
• $yA=0$ 的解空间是 $A$ 的左零空间，记为 $N(A^T)$ ——由 $m$ 维列向量组成的秩 $r[N(A^T)]=m-r$ 的空间

四个基本子空间中 $C(A^T)+N(A)={\mathbb{R}}^n$ ，$C(A)+N(A^T)\subset {\mathbb{R}}^m$ ，且相互垂直

矩阵乘矩阵

矩阵乘矩阵的每个元素可以理解为向量的内积

也可以理解为矩阵的线性组合（组合系数为向量），进而分割为向量的线性组合

$A_{N\times m},B_{m\times n}$ ，有 $C_{N\times n}=A\times B,c_{ij}={\sum }_{k=1}^n{a}_{ik}{b}_{kj},1\le i\le N,1\le j\le n$

eg:

三种商品 $B_1,B_2,B_3$ 单价为 B = ( 2.5 3 3.5 ) B=\left(\begin{matrix}2.5\\3\\3.5\end{matrix}\right) B= ​2.533.5​ ​ ，商场对三种商品销售量分别为 $A=\left(\begin{array}{ccc}12& 8& 10\\ 14& 9& 6\end{array}\right)$ ，求每个商场营业额

C = A B = ( 12 8 10 14 9 6 ) ( 2.5 3 3.5 ) = ( 12 × 2.5 + 8 × 3 + 10 × 3.5 14 × 2.5 + 9 × 3 + 6 × 3.5 ) = ( 89 83 ) C=AB=\left(\begin{matrix}12&8&10\\14&9&6\end{matrix}\right)\left(\begin{matrix}2.5\\3\\3.5\end{matrix}\right)=\left(\begin{matrix}12\times 2.5+8\times 3+10\times 3.5\\14\times 2.5+9\times 3+6\times 3.5\end{matrix}\right)=\left(\begin{matrix}89\\83\end{matrix}\right) C=AB=(1214​89​106​) ​2.533.5​ ​=(12×2.5+8×3+10×3.514×2.5+9×3+6×3.5​)=(8983​)

性质

• 无交换律：$AB\ne BA$
• 结合律：$(AB)C=A(BC)$
• 分配律：$A(B+C)=AB+AC$ ，$(B+C)A=BA+CA$

特殊的矩阵乘法

矩阵乘对角阵

在解决微分方程和递归方程时会出现这 $XDc$ 模式

$(1)\frac{du(t)}{dt}=Au(t),u(0)=u_0$

$(2)u_{n+1}=A{u}_n,u_0=u_0$

解这两种情况的解都可以用 $A$ 的特征值 $\left({\lambda }_1,{\lambda }_2,{\lambda }_3\right)$ ，特征向量 $X=[x_1,x_2,x_3]$ 和系数 c = ( c 1 c 2 c 3 ) c=\left(\begin{aligned}c_1\\c_2\\c_3\end{aligned}\right) c= ​c1​c2​c3​​ ​ 表示，其中 $c$ 是以 $X$ 为基底的初始值 $u(0)=u_0$ 的坐标

u 0 = c 1 x 1 + c 2 x 2 + c 3 x 3 = [ x 1 , x 2 , x 3 ] ( c 1 c 2 c 3 ) = X c u_0=c_1x_1+c_2x_2+c_3x_3=\left[x_1,x_2,x_3\right]\left(\begin{aligned}c_1\\c_2\\c_3\end{aligned}\right)=Xc u0​=c1​x1​+c2​x2​+c3​x3​=[x1​,x2​,x3​] ​c1​c2​c3​​ ​=Xc

c = ( c 1 c 2 c 3 ) = X − 1 u 0 c=\left(\begin{aligned}c_1\\c_2\\c_3\end{aligned}\right)=X^{-1}u_0 c= ​c1​c2​c3​​ ​=X−1u0​

对于 $(1)(2)$ 的通解表示为：

$u(t)=e^{At}{u}_0=X{e}^{\Lambda t}{X}^{-1}{u}_0=X{e}^{\Lambda t}c=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$

$u_n=A^n{u}_0=X{\Lambda }^n{X}^{-1}{u}_0=X{\Lambda }^{n}c=c_1{\lambda }_1^n{x}_1+c_2{\lambda }_2^n{x}_2+c_3{\lambda }_3^n{x}_3$

转置

$A=\left(\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right)$ ，$A^T=\left(\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\end{array}\right)$

性质

• $(A^T{)}^T=A$
• $(A+B{)}^T=A^T+B^T$
• $(AB{)}^T=B^T{A}^T$
• $(\lambda A{)}^T=\lambda A^T$

若 $A$ 为对称阵，则 $A=A^T$ ；对角线上元素为实数

求逆

若有 $BA=AB=I$ ，则有 $A^{-1}=B,B^{-1}=A$

性质

若 $A$ 与 $B$ 可逆，则有

• $(A^{-1}{)}^{-1}=A$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$
• $(A^T{)}^{-1}=(A^{-1}{)}^T$
• $(\lambda A{)}^{-1}=\frac{1}{\lambda }{A}^{-1}$

2.4 特征值&特征向量

2.4.1 特征值&特征向量

$AX=\lambda X(X\ne 0)$ ：经变换后方向不变的向量(特征向量)，在方向上有伸缩量 $\lambda$ (特征值)

eg

$A=\left(\begin{array}{cc}1& 2\\ 0& 3\end{array}\right)$ ，$X=\left(\begin{array}{r}1\\ 1\end{array}\right)$

$AX=\left(\begin{array}{cc}1& 2\\ 0& 3\end{array}\right)\left(\begin{array}{r}1\\ 1\end{array}\right)=3\left(\begin{array}{r}1\\ 1\end{array}\right)$

2.4.2 特征空间

特征空间包含了所有特征向量

$\lambda$ 越大表示相应的特征向量越重要，在降维或压缩时尽量保存

2.5 矩阵分解

五种重要的矩阵分解

2.5.1 $A=CR$

所有的长矩阵 $A$ 都有相同的行秩和列秩。$C$ 由 $A$ 中线性无关的列组成，$R$ 为 $A$ 的行阶梯阵。即将 $A$ 化简为 $r$ 的线性无关列 $C$ 和线性无关行 $R$ 的乘积

2.5.2 $A=LU$

高低分解

通常是 $A$ 左乘一个初等行变换阵 $E$ 来得到一个上三角阵 $U$
$$\begin{gathered} EA=U \\ A=E^{-1}U \\ 令L^{-1}=E^{-1}，A=LU \end{gathered}$$

2.5.3 $A=QR$

$QR$ 分解是在保持 $C(A)=C(Q)$ 的条件下，将 $A$ 转化为正交矩阵 $Q$

在施密特正交化中，单位化的 $a_1$ 被用作 $q_1$ ，然后求出 $a_2$ 与 $q_1$ 正交所得到的 $q_2$ ，以此类推

2.5.4 特征值分解

方阵 $A$ 可相似对角化， P − 1 A P = Λ = ( λ 1 λ 2 ⋱ λ n ) P^{-1}AP=\Lambda=\left(\begin{matrix}\lambda_1&&&\\&\lambda_2\\&&\ddots\\&&&\lambda_n\end{matrix}\right) P−1AP=Λ= ​λ1​​λ2​​⋱​λn​​ ​ ，则 $P$ 中为特征向量

条件：$A$ 为 $n\times n$ 阶方阵，$A$ 有 $n$ 个线性无关的特征向量

作用：便于在 $n$ 个特征值中找到 $k$ 个较大的特根，用于代替方阵 $A$

对称阵的特征值分解

所有对称矩阵 $S$ 都必有实特征值和正交特征向量。特征值是 $\Lambda$ 的对角元素，特征向量在 $Q$ 中

一个对称阵 $S$ 通过一个正交矩阵 $Q$ 和 $Q^T$ ，对角化为 $\Lambda$ 。然后被分解为一阶投影矩阵 $P=q{q}^T$ 的组合，就是谱定理

2.5.5 SVD

故筛选出 $k$ 个比较大的特征值， SVD分解为选出所有正奇值

$\lambda (A^{H}A)=\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}$ 中 ${\lambda }_1,\cdots ,{\lambda }_k>0$ ，故取 $s_1^{+}=\sqrt{{\lambda }_1},s_2^{+}=\sqrt{{\lambda }_2},\cdots ,s_k^{+}\sqrt{{\lambda }_k}$ 为正奇值代替代替矩阵 $A$