线性代数知识点速记
文章目录
- 矩阵运算
- 矩阵的逆
- 行列式
- 向量空间
- 坐标系
- 矩阵的特征向量与特征值
- 矩阵分解（对角化，QR分解、奇异值分解）
- 对角化
- QR分解
- 奇异值分解
- 特殊矩阵
- 正定、负定、半正定、半负定矩阵
- 正交矩阵
- 三角矩阵
- 对称矩阵
矩阵运算
- A B = A [ b 1 , b 2 , . . . . , b n ] = [ A b 1 , A b 2 , A b 3 , . . . . . , A b n ] AB=A[b_1,b_2,....,b_n]=[Ab_1,Ab_2,Ab_3,.....,Ab_n] AB=A[b1,b2,....,bn]=[Ab1,Ab2,Ab3,.....,Abn]
- A B C = A ( B C ) ABC=A(BC) ABC=A(BC)
- A ( B + C ) = A B + A C A(B+C)=AB+AC A(B+C)=AB+AC
- ( B + C ) A = B A + C A (B+C)A=BA+CA (B+C)A=BA+CA
- ( A + B ) T = A T + B T (A+B)^T=A^T+B^T (A+B)T=AT+BT
- ( A B ) T = B T A T (AB)^T=B^TA^T (AB)T=BTAT
- ( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} (AB)−1=B−1A−1
- ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})^T (AT)−1=(A−1)T
- A B AB AB= [ c o l 1 ( A ) c o l 2 ( A ) . . . . c o l n ( A ) ] \begin{bmatrix} col_1(A) \ \ col_2(A) \ \ .... \ \ col_n(A) \end{bmatrix} [col1(A) col2(A) .... coln(A)] [ r o w 1 ( A ) r o w 2 ( A ) . . . . r o w n ( A ) ] = c o l 1 ( A ) r o w 1 ( A ) + c o l 2 ( A ) r o w 2 ( A ) + . . . + c o l n ( A ) r o w n ( A ) \begin{bmatrix} row_1(A) \\ row_2(A) \\ .... \\ row_n(A) \end{bmatrix}=col_1(A)row_1(A)+col_2(A)row_2(A)+...+col_n(A)row_n(A) ⎣⎢⎢⎡row1(A)row2(A)....rown(A)⎦⎥⎥⎤=col1(A)row1(A)+col2(A)row2(A)+...+coln(A)rown(A)
矩阵的逆
-
只有方阵(nxn矩阵)才有逆
-
不可逆矩阵称为奇异矩阵，可逆矩阵称为非奇异矩阵
-
矩阵逆的求解方法
矩阵 A A A可逆， A A A行等价于单位矩阵 I I I，把 A A A变为 I I I的行初等变化也可以将 A A A变为 A − 1 A^{-1} A−1，即将增广矩阵 [ A I ] [A \ I] [A I]化简为 [ I A − 1 ] [I \ A^{-1}] [I A−1]
行列式
-
概念：可逆矩阵化为阶梯型矩阵后，对角线上的元素的乘积一定不为0，由此引出行列式，行列式即方阵化为阶梯型后，对角线上元素的乘积
-
计算公式
假设矩阵A为nxn矩阵
- 方法一
余因子 C i j = ( − 1 ) i + j d e t A i j C_{ij}=(-1)^{i+j}detA_{ij} Cij=(−1)i+jdetAij，按第 i i i行的余因子展开式： d e t A = a i 1 C i 1 + a i 2 C i 2 + . . . . + a i n C i n detA=a_{i1}C_{i1}+a_{i2}C_{i2}+....+a_{in}C_{in} detA=ai1Ci1+ai2Ci2+....+ainCin，按第 j j j行的余因子展开式： d e t A = a 1 j C 1 j + a 2 j C 2 j + . . . . + a n j C n j detA=a_{1j}C_{1j}+a_{2j}C_{2j}+....+a_{nj}C_{nj} detA=a1jC1j+a2jC2j+....+anjCnj
- 方法二
若A为三角阵，则 d e t A detA detA为主对角线上元素的乘积
-
行列式作用
-
判断方阵是否可逆， d e t A = 0 detA=0 detA=0则不可逆
-
克拉默法则求解 A x = b Ax=b Ax=b
若矩阵A可逆，则向量 x x x的第 i i i维的值 x i = d e t ( A i ( b ) ) d e t ( A ) x_i=\frac{det(A_i(b))}{det(A)} xi=det(A)det(Ai(b))，其中 A i ( b ) A_i(b) Ai(b)表示A的第i列用向量b替换
-
A − 1 = 1 d e t A a d j A A^{-1}=\frac{1}{detA}adjA A−1=detA1adjA，其中 a d j A adjA adjA称为A的伴随矩阵， a d j A adjA adjA= [ C 11 C 21 . . . . C n 1 C 12 C 22 . . . . C n 2 . . . . . . . . . . . . . . C 1 n C 2 n . . . . C n n ] \begin{bmatrix} C_{11} \ \ C_{21} \ \ .... \ \ C_{n1}\\ C_{12} \ \ C_{22} \ \ .... \ \ C_{n2}\\..............\\C_{1n} \ \ C_{2n} \ \ .... \ \ C_{nn} \end{bmatrix} ⎣⎢⎢⎡C11 C21 .... Cn1C12 C22 .... Cn2..............C1n C2n .... Cnn⎦⎥⎥⎤
-
-
行列式的运算法则
-
d e t ( A B ) = d e t ( A ) d e t ( B ) det(AB)=det(A)det(B) det(AB)=det(A)det(B)
-
d e t ( A T ) = d e t ( A ) det(A^T)=det(A) det(AT)=det(A)
-
若A的某一行的倍数加到另一行得矩阵B，则 d e t ( A ) = d e t ( B ) det(A)=det(B) det(A)=det(B)
-
若A的两行互换得到矩阵B，则 d e t ( A ) = − d e t ( B ) det(A)=-det(B) det(A)=−det(B)
-
若A的某行乘以k得到矩阵B，则 d e t ( A ) = k d e t ( B ) det(A)=kdet(B) det(A)=kdet(B)
-
向量空间
-
向量空间的定义，快，快点我，我等不及了
-
向量空间 V V V的子空间 H H H满足下列条件
1、 V V V中的零向量在 H H H中
2、 H H H对向量加法和标量乘法封闭
-
线性无关： V V V中向量的一个指标集 { V 1 , V 2 , . . . , V p } \{V_1,V_2,...,V_p\} {V1,V2,...,Vp}线性无关，则 C 1 V 1 + C 2 V 2 + . . . . + C n V n = 0 C_1V_1+C_2V_2+....+C_nV_n=0 C1V1+C2V2+....+CnVn=0只有平凡解，即 C 1 , C 2 , . . . , C n C_1,C_2,...,C_n C1,C2,...,Cn均为0
-
向量集 { b 1 , b 2 , . . . . , b n } \{b_1,b_2,....,b_n\} {b1,b2,....,bn}是向量空间（子空间）的基，则有
1、该向量集线性无关
2、该向量集的线性组合可以表示向量空间（子空间）中的任意向量
-
正交基：基中的任意两个不同向量均正交，通过格拉姆-施密特方法可以将一组基转换为正交基
-
矩阵的零空间
-
概念：满足Ax=0的所有向量x构成的向量空间
-
基的个数：非主元列的个数（主元列即化为阶梯型后，每行第一个非零元素对应的列，注意是没化简前的列，不是化简成阶梯型后的列）
-
基的求解：把Ax=0中的x求解出来，x的解通常由自由变量（取值任意）组成，将所有的自由变量提取出来，剩余的向量即为零空间的基
-
-
矩阵的列空间
-
概念：矩阵列的线性组合形成的向量空间
-
基的个数：主元列的个数
-
基的求解：主元列即为基
-
-
矩阵的行空间
-
概念：矩阵行的线性组合形成的向量空间
-
基的个数：化为阶梯型后，所有非零行的个数
-
基的求解：化为阶梯型后，所有非零行对应的非阶梯型矩阵的行向量
-
-
线性变换
概念：线性变化T将向量空间 V中的任意向量映射到向量空间 W中的唯一向量 T ( x ) T(x) T(x)，对象向量空间V中的向量 u 、 v u、v u、v满足：
（1） T ( u + v ) = T ( u ) + T ( v ) T(u+v)=T(u)+T(v) T(u+v)=T(u)+T(v)
（2） T ( c u ) = c T ( u ) T(cu)=cT(u) T(cu)=cT(u)
-
向量空间的维数：基中向量的个数，记为 d i m A dim \ A dim A
-
矩阵A的秩：A的列空间的维数，记为 r a n k A rank \ A rank A
-
基定理
- 一个p维向量空间V，任意p个线性无关的向量组成的集合为V的一个基
- 一个p维向量空间V，任意含有p个向量且生成V的集合为V的一个基
-
秩定理
- m*n矩阵的行空间与列空间的维数相等
- 这个维数等于主元的个数
- r a n k A + d i m ( N u l A ) = n rank \ A+dim(Nul \ A)=n rank A+dim(Nul A)=n，即主元列个数+非主元列个数=列的个数
坐标系
-
唯一表示定理： B = { b 1 , b 2 , . . . . , b n } B=\{b_1,b_2,....,b_n\} B={b1,b2,....,bn}为向量空间V的一个基，对V中的每个向量 x x x，存在唯一一组数 c 1 , c 2 , . . . , c n c_1,c_2,...,c_n c1,c2,...,cn满足 x = c 1 b 1 + c 2 b 2 + . . . + c n b n x=c_1b_1+c_2b_2+...+c_nb_n x=c1b1+c2b2+...+cnbn，则 ( c 1 , c 2 , . . . . , c n ) (c_1,c_2,....,c_n) (c1,c2,....,cn)称为 x x x相对于基B的坐标
-
R n R^n Rn中的坐标变换
-
概念：同一向量空间，同一向量在不同基中的坐标变换
-
设 R n R^n Rn的基为 B = { b 1 , b 2 , . . . . , b n } B=\{b_1,b_2,....,b_n\} B={b1,b2,....,bn}，基构成的矩阵一定是n*n矩阵，记为 P B P_B PB，由于各列线性无关， P B P_B PB一定可逆，向量X在标准基上的坐标为x，与 B B B作为基的坐标 [ x ] B [x]_B [x]B之间的关系为
x = P B [ x ] B x=P_B[x]_B x=PB[x]B
P B − 1 x = [ x ] B P^{-1}_Bx=[x]_B PB−1x=[x]B
-
-
坐标映射：同一向量在不同基中的坐标之间存在一一对应关系，用于向量在不同基之间坐标转换的映射称为坐标映射
-
同一向量空间，不同基之间坐标的相互转换
设 B = { b 1 , b 2 , . . . , b n } B=\{b_1,b_2,...,b_n\} B={b1,b2,...,bn}和 C = { c 1 , c 2 , . . . , c n } C=\{c_1,c_2,...,c_n\} C={c1,c2,...,cn}是向量空间V的基，向量x在这两个基之间的坐标存在下列关系
P = [ [ b 1 ] C , [ b 2 ] C , . . . . , [ b n ] C ] P=[[b_1]_C,[b_2]_C,....,[b_n]_C] P=[[b1]C,[b2]C,....,[bn]C]
[ x ] C = P [ x ] B [x]_C=P[x]_B [x]C=P[x]B
[ b i ] C [b_i]_C [bi]C表示向量 b i b_i bi在基 C C C构成的坐标系中的坐标
矩阵的特征向量与特征值
-
n*n矩阵A的特征值与特征向量
非零向量 x x x，满足 A x = λ x Ax=\lambda x Ax=λx，则 λ \lambda λ为A的特征值， x x x称为特征向量
-
特征值与特征向量的求解
-
利用 d e t ( A − λ I ) = 0 det(A-\lambda I)=0 det(A−λI)=0求解 λ \lambda λ，得到特征值
-
利用 ( A − λ I ) x = 0 (A-\lambda I)x=0 (A−λI)x=0求解特征值对应的特征向量
-
-
特征向量的性质
- 不同特征值对应的特征向量之间线性无关
-
矩阵相似
-
概念：若n*n矩阵A与n*n矩阵B相似，则存在可逆矩阵 P P P，满足 A = P − 1 B P A=P^{-1}BP A=P−1BP
-
性质：相似矩阵具有相同的特征值与重数
-
矩阵分解（对角化，QR分解、奇异值分解）
对角化
-
形式：若A为n*n矩阵，则矩阵A的对角化为： A = P D P − 1 A=PDP^{-1} A=PDP−1， D D D为对角矩阵，对角线上的元素为特征值， P P P为线性无关的特征向量为列构成的矩阵，P中第 i i i列特征向量对应的特征值为 D D D中第 i i i列上的非0元素
-
几何意义： A x = P D P − 1 Ax=PDP^{-1} Ax=PDP−1，向量与矩阵相乘，首先将向量从标准基中的坐标映射为以P为基构成的坐标系中的坐标，接着对每个坐标进行拉伸变换（乘特征值），然后映射回标准基中的坐标
-
可对角化的条件：n*n矩阵A可对角化的充分必要条件为A有n个相异的特征值或n个线性无关的特征向量
QR分解
-
形式：若m*n 矩阵A的列线性无关，则有A=QR，Q是一个m*n矩阵，列为A的列空间的一个标准正交基，R是一个n*n上三角可逆矩阵，对角线上的元素为正数
-
QR分解的步骤
- 求列空间的基，就是A的每列
- 利用格拉姆-施密特方法标准正交化，得到Q
- R = Q T A R=Q^TA R=QTA
奇异值分解
-
形式：m*n矩阵A的秩为r，则有 A = U ∑ V T A=U\sum V^T A=U∑VT，其中 U U U为mxm的正交矩阵， V V V为nxn的正交矩阵， ∑ \sum ∑为mxn的矩阵，形式为 [ D 0 0 0 ] \left[\begin{matrix}D& 0 \\ 0& 0\end{matrix}\right] [D000]D为对角矩阵，对角线元素为A的前r个奇异值，满足 δ 1 ≥ δ 2 ≥ . . . . δ r > 0 \delta_1 \geq \delta_2 \geq....\delta_r>0 δ1≥δ2≥....δr>0， U U U的列称为左奇异向量， V V V称为右奇异向量
-
奇异值： A T A A^TA ATA的特征值的平方根
-
奇异值分解的步骤
- 矩阵 A T A A^TA ATA正交对角化
- 计算 ∑ \sum ∑，奇异值对应的单位特征向量组成 V V V，列记为 v 1 , v 2 , . . . , v r v_1,v_2,...,v_r v1,v2,...,vr
- 矩阵 U U U的前r列为从 A v 1 , A v 2 , . . . , A v r Av_1,Av_2,...,Av_r Av1,Av2,...,Avr计算得到的单位向量
-
基本子空间的基：矩阵A的秩为r，则前r个左奇异向量构成矩阵A的列空间的一个单位正交基
特殊矩阵
正定、负定、半正定、半负定矩阵
-
正定矩阵M： Z T M Z > 0 Z^TMZ>0 ZTMZ>0
-
负定矩阵M： Z T M Z < 0 Z^TMZ<0 ZTMZ<0
-
半正定矩阵M： Z T M Z ≥ 0 Z^TMZ\geq0 ZTMZ≥0
-
半负定矩阵M： Z T M Z ≤ 0 Z^TMZ\leq0 ZTMZ≤0
-
正定矩阵的判别
- 顺序主子式的行列式大于0
- 特征值大于0
-
海瑟矩阵正定，函数在该点取得极小值
-
海瑟矩阵负定，函数在该点取得极大值
正交矩阵
- 概念：若矩阵 U U U满足 U − 1 = U T U^{-1}=U^T U−1=UT，则矩阵 U U U称为正交矩阵
三角矩阵
-
概念：三角矩阵分上三角矩阵和下三角矩阵两种。上三角矩阵的对角线左下方的系数全部为零，下三角矩阵的对角线右上方的系数全部为零。
-
三角矩阵主对角线上的元素是其特征值
对称矩阵
-
概念：nxn矩阵A，满足 A = A T A=A^T A=AT，主对角线元素是任意的，但是主对角线两侧的值关于对角线对称
-
性质：
- 对称矩阵不同特征空间的任意两个特征向量正交
- 对称矩阵可正交对角化，正交对角化即 A = P D P T A=PDP^T A=PDPT， P P P为正交矩阵