线性代数基础知识整理

线性代数基础知识整理

    • 行列式
      • 上(下)三角行列式
      • 副对角线行列式
      • 特殊拉普拉斯展开式
      • 范德蒙德行列式
      • 行和列和相等的行列式
      • 分块矩阵的行列式
      • 行列式公式
    • 矩阵
      • 矩阵和伴随矩阵秩的关系
      • 特征值和特征向量
      • 施密特正交化
      • 二次型
      • 正定矩阵

行列式

上(下)三角行列式

∣ a 11 0 ⋯ 0 0 a 22 ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ a n n ∣ = ∏ i = 1 n a i i \left|\begin{array}{cccc}a_{11} & 0 & \cdots & 0 \\ 0 & a_{22} & \cdots & 0 \\ \vdots & \vdots & & \vdots \\ 0 & 0 & \cdots & a_{n n}\end{array}\right|=\prod_{i=1}^{n} a_{i i} a11000a22000ann=i=1naii

副对角线行列式

∣ 0 ⋯ 0 a 1 , n 0 ⋯ a 2 , n − 1 0 ⋮ ⋮ ⋮ a n 1 ⋯ 0 0 ∣ \left|\begin{array}{cccc}0 & \cdots & 0 & a_{1, n} \\ 0 & \cdots & a_{2, n-1} & 0 \\ \vdots & & \vdots & \vdots \\ a_{n 1} & \cdots & 0 & 0\end{array}\right| 00an10a2,n10a1,n00
= ( − 1 ) n ( n − 1 ) 2 a 1 n a 2 , n − 1 … a n =(-1)^{\frac{n(n-1)}{2}} a_{1 n} a_{2, n-1} \ldots a_{n} =(1)2n(n1)a1na2,n1an

特殊拉普拉斯展开式

∣ A m × m O O B n × n ∣ = ∣ A C O B ∣ \left|\begin{array}{cc}A_{m \times m} & O \\ O & B_{n \times n}\end{array}\right|=\left|\begin{array}{cc}A & C \\ O & B\end{array}\right| Am×mOOBn×n=AOCB
= ∣ A O C B ∣ = ∣ A ∣ ∣ B ∣ =\left|\begin{array}{ll}A & O \\ C & B\end{array}\right|=|A||B| =ACOB=AB

范德蒙德行列式

∣ O A m × m B n × n O ∣ = ∣ C A B O ∣ \left|\begin{array}{cc}O & A_{m \times m} \\ B_{n \times n} & O\end{array}\right|=\left|\begin{array}{cc}C & A \\ B & O\end{array}\right| OBn×nAm×mO=CBAO
= ∣ O A B C ∣ = ( − 1 ) m n ∣ A ∣ ∣ B ∣ =\left|\begin{array}{cc}O & A \\ B & C\end{array}\right|=(-1)^{m n}|A||B| =OBAC=(1)mnAB

∣ 1 1 ⋯ 1 x 1 x 2 ⋯ x n x 1 2 x 2 2 ⋯ x n 2 ⋮ ⋮ ⋮ x 1 n − 1 x 2 n − 1 ⋯ x n n − 1 ∣ \left|\begin{array}{cccc}1 & 1 & \cdots & 1 \\ x_{1} & x_{2} & \cdots & x_{n} \\ x_{1}^{2} & x_{2}^{2} & \cdots & x_{n}^{2} \\ \vdots & \vdots & & \vdots \\ x_{1}^{n-1} & x_{2}^{n-1} & \cdots & x_{n}^{n-1}\end{array}\right| 1x1x12x1n11x2x22x2n11xnxn2xnn1
= ∏ 1 ⩽ i < j ⩽ n ( x j − x i ) =\prod_{1 \leqslant i=1i<jn(xjxi)

行和列和相等的行列式

∣ a b b ⋯ b b a b ⋯ b b b a ⋯ b ⋮ ⋮ ⋮ ⋮ b b b ⋯ a ∣ n × n \left|\begin{array}{ccccc}a & b & b & \cdots & b \\ b & a & b & \cdots & b \\ b & b & a & \cdots & b \\ \vdots & \vdots & \vdots & & \vdots \\ b & b & b & \cdots & a\end{array}\right|_{n \times n} abbbbabbbbabbbban×n
= [ a + ( n − 1 ) b ] ( a − b ) n − 1 =[a+(n-1) b](a-b)^{n-1} =[a+(n1)b](ab)n1

分块矩阵的行列式

∣ A B 0 D ∣ = ∣ A ∣ ∣ D ∣ \left|\begin{array}{cc}A & B \\ 0 & D\end{array}\right|=|A||D| A0BD=AD

∣ A B C D ∣ \left|\begin{array}{ll}A & B \\ C & D\end{array}\right| ACBD
= exist ⁡ A − 1 ∣ A ∣ ∣ A − C A − 1 B ∣ \stackrel{\operatorname{exist} A^{-1}}{=}|A|\left|A-C A^{-1} B\right| =existA1AACA1B
= exist ⁡ D − 1 ∣ D ∣ ∣ A − B D − 1 C ∣ \stackrel{\operatorname{exist} D^{-1}}{=}|D|\left|A-B D^{-1} C\right| =existD1DABD1C

行列式公式

∣ k A ∣ = k n ∣ A ∣ |k A|=k^{n}|A| kA=knA

∣ A ∗ ∣ = ∣ A ∣ n − 1 \left|A^{*}\right|=|A|^{n-1} A=An1

矩阵

A + B = B + A A+B=B+A A+B=B+A

( A + B ) + C = A + ( B + C ) (A+B)+C=A+(B+C) (A+B)+C=A+(B+C)

k ( A + B ) = k A + k B k(A+B)=k A+k B k(A+B)=kA+kB

( k + l ) A = k A + l A (k+l) A=k A+l A (k+l)A=kA+lA

( A B ) C = A ( B C ) (A B) C=A(B C) (AB)C=A(BC)

A ( B + C ) = A B + A C A(B+C)=A B+A C A(B+C)=AB+AC

( A + B ) C = A C + B C (A+B) C=A C+B C (A+B)C=AC+BC

( k A ) B = A ( k B ) = k ( A B ) (k A) B=A(k B)=k(A B) (kA)B=A(kB)=k(AB)

[ A 1 A 2 A 3 A 4 ] + [ B 1 B 2 B 3 B 4 ] \left[\begin{array}{ll}A_{1} & A_{2} \\ A_{3} & A_{4}\end{array}\right]+\left[\begin{array}{ll}B_{1} & B_{2} \\ B_{3} & B_{4}\end{array}\right] [A1A3A2A4]+[B1B3B2B4]
= [ A 1 + B 1 A 2 + B 2 A 3 + B 3 A 4 + B 4 ] =\left[\begin{array}{ll}A_{1}+B_{1} & A_{2}+B_{2} \\ A_{3}+B_{3} & A_{4}+B_{4}\end{array}\right] =[A1+B1A3+B3A2+B2A4+B4]

k [ A B C D ] = [ k A k B k C k D ] k\left[\begin{array}{ll}A & B \\ C & D\end{array}\right]=\left[\begin{array}{ll}k A & k B \\ k C & k D\end{array}\right] k[ACBD]=[kAkCkBkD]
[ A B C D ] [ X Y Z W ] \left[\begin{array}{ll}A & B \\ C & D\end{array}\right]\left[\begin{array}{ll}X & Y \\ Z & W\end{array}\right] [ACBD][XZYW]

= [ A X + B Z A Y + B W C X + D Z C Y + D W ] =\left[\begin{array}{ll}A X+B Z & A Y+B W \\ C X+D Z & C Y+D W\end{array}\right] =[AX+BZCX+DZAY+BWCY+DW]
[ A O O B ] n = [ A n O O B n ] \left[\begin{array}{ll}A & O \\ O & B\end{array}\right]^{n}=\left[\begin{array}{ll}A^{n} & O \\ O & B^{n}\end{array}\right] [AOOB]n=[AnOOBn]

A − 1 = 1 ∣ A ∣ A ∗ A^{-1}=\frac{1}{|A|} A^{*} A1=A1A

( A − 1 ) − 1 = A \left(A^{-1}\right)^{-1}=A (A1)1=A

( k A ) − 1 = 1 k A − 1 ( k ≠ 0 ) (k A)^{-1}=\frac{1}{k} A^{-1}(k \neq 0) (kA)1=k1A1(k=0)

( A B ) − 1 = B − 1 A − 1 (A B)^{-1}=B^{-1} A^{-1} (AB)1=B1A1

( A B ) T = B T A T (A B)^{T}=B^{T} A^{T} (AB)T=BTAT

( A T ) − 1 = ( A − 1 ) T \left(A^{T}\right)^{-1}=\left(A^{-1}\right)^{T} (AT)1=(A1)T

A A ∗ = A ∗ A = ∣ A ∣ E A A^{*}=A^{*} A=|A| E AA=AA=AE

A ∗ = ∣ A ∣ A − 1 A^{*}=|A| A^{-1} A=AA1

A = ∣ A ∣ ( A ∗ ) − 1 A=|A|\left(A^{*}\right)^{-1} A=A(A)1

( A T ) ∗ = ( A ∗ ) T \left(A^{T}\right)^{*}=\left(A^{*}\right)^{T} (AT)=(A)T

( A − 1 ) ∗ = ( A ∗ ) − 1 \left(A^{-1}\right)^{*}=\left(A^{*}\right)^{-1} (A1)=(A)1

( A B ) ∗ = B ∗ A ∗ (A B)^{*}=B^{*} A^{*} (AB)=BA

( A ∗ ) ∗ = ∣ A ∣ n − 2 A \left(A^{*}\right)^{*}=|A|^{n-2} A (A)=An2A

( k A ) ∗ = k n − 1 A (k A)^{*}=k^{n-1} A (kA)=kn1A

A − 1 + B − 1 A^{-1}+B^{-1} A1+B1
= A − 1 ( E + A B − 1 ) =A^{-1}\left(E+A B^{-1}\right) =A1(E+AB1)
= A − 1 ( B + A ) B − 1 =A^{-1}(B+A) B^{-1} =A1(B+A)B1

矩阵和伴随矩阵秩的关系

r ( A ∗ ) = { n r ( A ) = n 1 r ( A ) = n − 1 0 r ( A ) ⩽ n − 2 \begin{aligned} &r\left(A^{*}\right)=\left\{\begin{array}{ll} n & r(A)=n \\ 1 & r(A)=n-1 \\ 0 & r(A) \leqslant n-2 \end{array}\right. \end{aligned} r(A)=n10r(A)=nr(A)=n1r(A)n2

特征值和特征向量

矩阵 特征值 特征向量
A A A λ \lambda λ ξ \xi ξ
k A kA kA k λ k\lambda kλ ξ \xi ξ
A k A^{k} Ak λ k \lambda^{k} λk ξ \xi ξ
f ( A ) f(A) f(A) f ( λ ) f(\lambda) f(λ) ξ \xi ξ
A − 1 A^{-1} A1 λ − 1 \lambda^{-1} λ1 ξ \xi ξ
A ∗ A^{*} A det ⁡ ( A ) λ \frac{\operatorname{det}(A)}{\lambda} λdet(A) ξ \xi ξ
P − 1 A P P^{-1} A P P1AP λ \lambda λ P − 1 ξ P^{-1} \xi P1ξ

施密特正交化

β 1 = α 1 \beta_{1}=\alpha_{1} β1=α1
β 2 = α 2 − ( α 2 , β 1 ) ( β 1 , β 1 ) β 1 \beta_{2}=\alpha_{2}-\frac{\left(\alpha_{2}, \beta_{1}\right)}{\left(\beta_{1}, \beta_{1}\right)} \beta_{1} β2=α2(β1,β1)(α2,β1)β1
β 3 = α 3 − ( α 3 , β 1 ) ( β 1 , β 1 ) β 1 − ( α 3 , β 2 ) ( β 2 , β 2 ) β 2 \beta_{3}=\alpha_{3}-\frac{\left(\alpha_{3}, \beta_{1}\right)}{\left(\beta_{1}, \beta_{1}\right)} \beta_{1}-\frac{\left(\alpha_{3}, \beta_{2}\right)}{\left(\beta_{2}, \beta_{2}\right)} \beta_{2} β3=α3(β1,β1)(α3,β1)β1(β2,β2)(α3,β2)β2

二次型

合同矩阵:当且仅当存在一个可逆矩阵 C C C 使得 C T A C = B , C^{T} A C=B, CTAC=B, 则矩阵 A A A 合同于矩阵 C , C, C, 记作 A ≃ B A \simeq B AB;
合同关系 是一个等价关系, 具有:

  • 自反性
  • 对称性
  • 传递性
  • 合同矩阵的秩相同
    矩阵 A , B A, B A,B 合同等价于 A , B A, B A,B 具有相同的正、负惯性指数, 即正、负特征值的个数相等;

正定矩阵

正定矩阵:若对任意非零向量 x x x x T A x > 0 x^{T} A x>0 xTAx>0 恒成立, 则矩阵 A A A 是一个正定矩阵。

正定矩阵的性质:

  • 行列式恒为正
  • 必须是对称矩阵
  • 主对角线元素必须为正
  • 必须是可逆矩阵
  • 与单位矩阵合同
  • 逆矩阵也是正定矩阵
  • 两个正定矩阵的和也是正定矩阵
  • 正数与正定矩阵的乘积也是正定矩阵
  • 顺序主子式均为正
  • 存在实可逆矩阵C,使A=C′C
  • 存在秩为n的m×n实矩阵B,使A=B′B
  • 存在主对角线元素全为正的实三角矩阵R,使A=R′R

正定矩阵的充要条件:

(1)n 元实二次型 f ( x 1 , … , x n ) f\left(x_{1}, \ldots, x_{n}\right) f(x1,,xn) 正定 ⇔ \Leftrightarrow 它的正惯性指数为 n ; \mathrm{n} ; n;

(2) 一个实对称矩阵 A 正定 ⇔ A \Leftrightarrow \mathrm{A} A E \mathrm{E} E 合同,即?可逆矩阵 C , \mathrm{C}, C, 使得 A = C T C A=C^{T} C A=CTC;

(3) 实二次型 f ( x 1 , … , x n ) = ∑ i = 1 n ∑ j = 1 n a i j x i x j = X T A X f\left(x_{1}, \ldots, x_{n}\right)=\sum_{i=1}^{n} \sum_{j=1}^{n} a_{i j} x_{i} x_{j}=X^{T} A X f(x1,,xn)=i=1nj=1naijxixj=XTAX 是正定的 ⇔ \Leftrightarrow A的顺序主子式全大于零;

(4) 一个实对称矩阵 A 正定 ⇔ \Leftrightarrow A 的特征值全大于零;

(5) 一个实对称矩阵 A 正定 ⇔ A \Leftrightarrow \mathrm{A} A 的顺序主子式全大于零;

(6)A, B \mathrm{B} B 是实对称矩阵,则 C = ( A 0 0 B ) C=\left(\begin{array}{cc}A & 0 \\ 0 & B\end{array}\right) C=(A00B) 正定 ⇔ A , m a t h r m B \Leftrightarrow \mathrm{A}, mathrm{B} A,mathrmB均正定;

(7)A 实对称矩阵,A 正定 ⇔ ∃ \Leftrightarrow \exists 正定矩阵 B,使得 A = B k , ( k A=B^{k}, \quad(\mathrm{k} A=Bk,(k 为任意正效数 ) ) )

正定矩阵的判定的方法:

根据正定矩阵的定义及性质,判别对称矩阵A的正定性有两种方法:

(1)求出A的所有特征值。若A的特征值均为正数,则A是正定的;若A的特征值均为负数,则A为负定的。

(2)计算A的各阶主子式。若A的各阶主子式均大于零,则A是正定的;若A的各阶主子式中,奇数阶主子式为负,偶数阶为正,则A为负定的。

你可能感兴趣的:(机器学习数学基础,线性代数)