此文档总结了大学本科本人学习线性代数的一些心得…
其中一二三四是预备姿势,五六是精彩的部分,是现在ML的基础。 总的来说,线代作为一种研究工具,简化了表达与计算…
欢迎交流 WeChat : Feynman1999
Last Update: 2019-07-11
P ( i , j ) − 1 = P ( i , j ) P ( i ( c ) ) − 1 = P ( i ( 1 c ) ) P ( i , j ( k ) ) − 1 = P ( i , j ( − k ) ) P(i,j)^{-1} = P(i,j) \\ P(i(c))^{-1} = P(i(\frac{1}{c})) \\ P(i,j(k))^{-1} = P(i,j(-k)) P(i,j)−1=P(i,j)P(i(c))−1=P(i(c1))P(i,j(k))−1=P(i,j(−k))
D = [ E r 0 0 0 ] D = \begin{bmatrix} E_r &0 \\ 0&0 \end{bmatrix} D=[Er000]
的矩阵等价 ( 0 ≤ r ≤ m i n ( m , n ) ) (0\leq r \leq min(m,n)) (0≤r≤min(m,n)) ,这里 D D D称为矩阵 A A A的标准形。 具体操作方法是,迭代地将所在行列置为零。
D = [ E r 0 0 0 ] D = \begin{bmatrix} E_r &0 \\ 0&0 \end{bmatrix} D=[Er000]
是矩阵 A A A的标准形,则 r ( A ) = r r(A) = r r(A)=r。 因此,求矩阵的秩,可以将其化为标准形,看其中1的个数。
最右边的矩阵称为 α \alpha α到 β \beta β的过渡矩阵。
< α , β > = a r c c o s ( α , β ) ∣ α ∣ ∣ β ∣ , 0 ≤ < α , β > ≤ π <\alpha,\beta> = arccos\frac{(\alpha,\beta)}{|\alpha||\beta|}, \quad 0\le \ <\alpha,\beta> \ \le \pi <α,β>=arccos∣α∣∣β∣(α,β),0≤ <α,β> ≤π
设 A ∈ R n ∗ n A∈R^{n*n} A∈Rn∗n,如果 A A T = A T A = E AA^T = A^TA = E AAT=ATA=E ,则称 A A A为正交矩阵。
若 A A A为正交矩阵,则 ∣ A ∣ = ± 1 |A|=±1 ∣A∣=±1
若 A A A为正交矩阵,则 A − 1 , A T , A ∗ A^{-1},A^T,A^* A−1,AT,A∗均为正交矩阵
若 A , B A,B A,B是正交矩阵,则 A B AB AB也是正交矩阵
A为正交矩阵的充分必要条件是A的行(列)向量组是单位正交向量组 ,即 n n n阶正交矩阵的行(列)向量组是欧式空间 R n R^n Rn的一个标准正交基底。
标准正交基底到标准正交基底的过渡矩阵是正交矩阵。
设 A ∈ P n ∗ n A∈P^{n*n} A∈Pn∗n,如果存在数 λ 0 ∈ P \lambda_0∈P λ0∈P及非零列向量 α ∈ P n \alpha∈P^n α∈Pn,使得 A α = λ 0 α A\alpha = \lambda_0\alpha Aα=λ0α ,则称 λ 0 \lambda_0 λ0为 A A A的特征值, α \alpha α为 A A A的属于 λ 0 \lambda_0 λ0的特征向量。
确定特征值与特征向量的方法:
设 A = ( a i j ) ∈ C n ∗ n A=(a_{ij})∈C^{n*n} A=(aij)∈Cn∗n, λ 1 , λ 2 , . . . , λ n \lambda_1,\lambda_2,...,\lambda_n λ1,λ2,...,λn为 A A A的全部特征值,则
λ 1 + λ 2 + . . . + λ n = a 11 + a 22 + . . . + a n n 迹 t r a c e λ 1 ∗ λ 2 ∗ . . . ∗ λ n = ∣ A ∣ \lambda_1 + \lambda_2 +...+\lambda_n = a_{11} + a_{22} +...+a_{nn}\quad 迹trace\\ \lambda_1 * \lambda_2 *...*\lambda_n = |A| λ1+λ2+...+λn=a11+a22+...+ann迹traceλ1∗λ2∗...∗λn=∣A∣
设 λ 0 \lambda_0 λ0是 A A A的一个特征值,令
V λ 0 = { α ∈ P n ∣ A α = λ 0 α } V_{\lambda_0} = \{\alpha∈P^n | A\alpha = \lambda_0\alpha\} Vλ0={α∈Pn∣Aα=λ0α}
则 V λ 0 V_{\lambda_0} Vλ0恰为齐次线性方程组
( λ 0 E − A ) X = 0 (\lambda_0E - A)X = 0 (λ0E−A)X=0
的解空间,我们称 V λ 0 V_{\lambda_0} Vλ0为 A A A的属于 λ 0 \lambda_0 λ0的特征子空间。
因此,**维 V λ 0 = n − r ( λ 0 E − A ) V_{\lambda_0} = n - r(\lambda_0E - A) Vλ0=n−r(λ0E−A) **
A , B A,B A,B为方阵,若存在 n n n阶可逆矩阵,使得 B = X − 1 A X B = X^{-1}AX B=X−1AX,则称 A A A相似于 B B B,记作 A ∼ B A\sim B A∼B
维 V λ 0 ≤ k 维V_{\lambda_0} \leq k 维Vλ0≤k
定理 实对称矩阵的特征值都是实数。(思考,不仅要对称,而且要 A ∈ R n ∗ n A∈R^{n*n} A∈Rn∗n)
实对称矩阵的不同的特征值的特征向量是正交的 (在线性无关的基础上还正交,注意是不同特征值的)
设A是 n n n阶实对称矩阵,则存在正交矩阵Q,使得 Q − 1 A Q = Q T A Q Q^{-1}AQ = Q^{T}AQ Q−1AQ=QTAQ为对角形矩阵。
下面给出求正交矩阵 Q Q Q的方法:
**1.**求出对称矩阵A的特征值,设 λ 1 , λ 2 , . . . , λ r \lambda_1,\lambda_2,...,\lambda_r λ1,λ2,...,λr是 A A A的全部互不相同的特征值。(那么这些特征值对应的特征向量是正交的)
**2.**对每个特征值 λ i \lambda_i λi,解齐次线性方程组
( λ i E − A ) X = 0 (\lambda_iE - A)X = 0 (λiE−A)X=0
求出一个基础解系 α i 1 , . . . , α i k i \alpha_{i1},...,\alpha_{ik_i} αi1,...,αiki ,(显然他们是线性无关的),将其正交化(解析间一定是正交的,解析内用斯密特方法),单位化,得到 V λ i V_{\lambda_i} Vλi的一个标准正交基底 η i 1 , . . . , η i k i \eta_{i1},...,\eta_{ik_i} ηi1,...,ηiki
**3.**每个特征值(个数不一定为 n n n,因为有重根)对应的这些标准正交基底(个数之和应为 n n n,因为实对称矩阵的几何重数等于代数重数),作为列向量拼成的矩阵即为 Q Q Q。 (可见 Q Q Q是不唯一的)
设 P P P是一个数域,一个系数在P中的 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn的二次齐次多项式:
f ( x 1 , x 2 , . . . , x n ) = ∑ 1 ≤ i ≤ j ≤ n b i j x i x j f(x_1,x_2,...,x_n) = \sum_{1\le i\le j\le n}b_{ij}x_ix_j f(x1,x2,...,xn)=1≤i≤j≤n∑bijxixj
称为数域 P P P上的一个 n n n元二次型、或简称二次型。
二次型很常用,其系数可以自然地写成对称矩阵的形式。因此有:
f ( x 1 , x 2 , . . . , x n ) = X T A X f(x_1,x_2,...,x_n)= X^TAX f(x1,x2,...,xn)=XTAX
X X X是 n ∗ 1 n*1 n∗1的向量。(注意这里A必须是对称阵)
系数矩阵 A A A的秩称为二次型 f ( x 1 , x 2 , . . . , x n ) f(x_1,x_2,...,x_n) f(x1,x2,...,xn)的秩。
B = C T A C B = C^TAC B=CTAC
定义 设 A , B A,B A,B是数域 P P P上的两个 n n n阶方阵,如果存在 P P P上的 n n n阶可逆矩阵 C C C,使得 B = C T A C B = C^TAC B=CTAC,则称 A A A和 B B B合同,记为 A ≃ B A\simeq B A≃B,合同也具有反身、对称、传递性。
现在的目的是找出一个非退化线性替换,通过它,将原二次型变成只含新变量的平方项的二次型,这一点能否用通用的方法做到呢?
定理 任意一个二次型都可以经过非退化的线性替换变成平方和的形式,这个形式称为 f f f的一个标准型。
(使用配方、替换法) 若一开始没有平方项,要利用平方差公式产生平方项
上述定理,用矩阵的语言可以叙述为:数域P上的任意一个对称矩阵都合同于一个对角型矩阵。
即存在线性变换矩阵 C C C,使得 B = C T A C B = C^TAC B=CTAC, B B B为对角矩阵。
但用配方法化简二次型不太方便(不过一定可以做),为了使做法更为简便以及理论更清楚,给出初等变换法:
定理 数域 P P P上的任意一个对称矩阵都可用某些同类型(行列号对应)的行、列初等变换化为对角阵。将其中的列变换作用到 E E E上便得到 C C C。
tips: 对于一个初等矩阵 Q Q Q, Q Q Q和 Q T Q^T QT是同一类型的初等矩阵。即 Q Q Q乘在右边(如果表示第 i i i列的 k k k倍加到第 j j j列),则 Q T Q^T QT乘在左边就表示第 i i i行的 k k k倍加到第 j j j行
若对任意非零的 n n n维实向量 X X X,恒有 X T A X > 0 X^TAX>0 XTAX>0,则称 f ( x 1 , x 2 , . . . , x n ) f(x_1,x_2,...,x_n) f(x1,x2,...,xn)为正定二次型。
一个正定二次型经非退化的线性替换变成的二次型仍为正定的
n n n元实二次型 f ( x 1 , x 2 , . . . , x n ) f(x_1,x_2,...,x_n) f(x1,x2,...,xn)正定的充分必要条件是它的正惯性指数为 n n n
正定二次型 f ( x 1 , x 2 , . . . , x n ) f(x_1,x_2,...,x_n) f(x1,x2,...,xn)的规范形为 y 1 2 + y 2 2 + . . . + y n 2 y_1^2+y_2^2+...+y_n^2 y12+y22+...+yn2
由上一条知,实对称矩阵 A A A正定的充分必要条件是 A A A与单位矩阵 E E E合同
如果二次型 X T A X X^TAX XTAX是正定的,则称实对称矩阵 A A A为正定的
正定矩阵的行列式大于零 证明:存在可逆矩阵 C C C,有 A = C T E C = C T C A = C^TEC=C^TC A=CTEC=CTC ,因此 ∣ A ∣ > 0 |A|>0 ∣A∣>0
实二次型 f ( x 1 , x 2 , . . . , x n ) = X T A X f(x_1,x_2,...,x_n)=X^TAX f(x1,x2,...,xn)=XTAX,正定的充分必要条件是 A A A的各阶顺序主子式全大于零。
上面一条可以辅助解题(●∀●)
设 A A A是 m m m阶正定矩阵, B B B为 m ∗ n m*n m∗n实矩阵,求证: B T A B B^TAB BTAB是正定矩阵的充要条件是 r ( B ) = n r(B) = n r(B)=n
半正定、负正定的概念
对于一个实二次型 f ( x 1 , x 2 , . . . , x n ) = X T A X f(x_1,x_2,...,x_n) = X^TAX f(x1,x2,...,xn)=XTAX,下面的条件是等价的:
在线性替换中,如果系数矩阵 C C C是正交矩阵,则称为正交线性替换。
设 f ( x 1 , x 2 , . . . , x n ) = X T A X f(x_1,x_2,...,x_n)=X^TAX f(x1,x2,...,xn)=XTAX是一个实二次型,则一定存在正交线性替换 X = C Y X=CY X=CY使得
f ( x 1 , x 2 , . . . , x n ) = λ 1 y 1 2 + λ 2 y 2 2 + . . . + λ n y n 2 f(x_1,x_2,...,x_n) = \lambda_1y_1^2+\lambda_2y_2^2+...+\lambda_ny_n^2 f(x1,x2,...,xn)=λ1y12+λ2y22+...+λnyn2
其中 λ 1 , λ 2 , . . . , λ n \lambda_1,\lambda_2,...,\lambda_n λ1,λ2,...,λn是 A A A的全部特征值(由第五章可知)。 由特征值可以判断矩阵的正定情况
三大关系:等价(初等变换)、合同(初等变换行列一起做)、相似(左乘右乘的逆)
分别对应矩阵的秩不变,矩阵的特征值的正负分布不变,矩阵的特征值不变。
从弱到强,合同可以看成等价的特例,相似可以看成合同的特例(仅仅对于实对称矩阵,这样才能保证正交, C − 1 = C T C^{-1}=C^T C−1=CT)。