机器学习基础·线代一些有用基本概念及结论

摘要

内积、正交、特征值、特征向量、相似矩阵、对角化、线性空间、线性变换

正文

1 向量的内积、长度及正交性

(1)内积：[x,y]=x₁y₁+x₂y₂+…+x_ny_n

(2)施瓦茨不等式：[x,y]²≤[x,x][y,y]

(3)长度，范数：||x||=[x,x]^1/2，满足非负性、齐次性、三角不等式

(4)夹角：θ=arccos([x,y] / ||x||*||y||)

(5)x,y正交：[x,y]=0

(6)定理：若n维向量a₁,a₂,…,a_r是一组两两正交的非零向量，则a₁,a₂,…,a_r线性无关

(7)规范正交基：基的向量两两正交且都是单位向量

(8)正交矩阵：A^TA=E，即A^-1=A^T

(9)正交变换：y=Px，P为正交阵

2. 方阵的特征值与特征向量

(1)Ax=λx：特征值λ、特征向量x、特征多项式f(λ)=|A-λE|；有解充要条件特征方程f(λ)=0；

特征方程在复数范围内恒有解，其个数为方程的次数（重根按照重数计算）

(2)定理：设λ₁,λ₂,…,λ_m是方阵A的m个特征值，p₁,p₂,…,p_m依次是与之对应的特征向量，如果λ_i各不相等，则p_i线性无关

(3) 正定矩阵、半正定矩阵：特征值都为正的称为正定矩阵，特征值都非负称为半正定矩阵。

3. 相似矩阵

(1)相似矩阵、相似变换：B=P^-1AP

(2)定理：若n阶矩阵A与B相似，则A与B的特征多项式相同，从而A与B特征值相同

(3)推论：若n阶矩阵A与对角阵Λ相似，则Λ中对角线上元素即是A的n个特征值

(4)定理：n阶矩阵A能对角化的充要条件是A有n个线性无关的特征向量

4. 对称矩阵的对角化

(1)定理：对称阵的特征值为实数

(2)定理：设λ₁,λ₂是对称阵A的两个特征值，p₁,p₂是对应的特征向量。若λ₁ 不等 λ₂则p₁,p₂正交

(3)定理：设A为n阶对称阵，则必有正交阵P，使P^-1AP=Λ，其中Λ以A的n个特征值为对角元的对角阵

5. 线性空间与线性变换

(1)线性空间定义：加法交换律，加法结合律，加法单位元0，任何元素存在负元，乘法单位元1，数乘结合律，分配律。

(2)线性空间性质：0唯一且为乘运算零元，负元唯一

(3)基：A(a1,a2,…,ar)线性无关且V中任一向量都可以用A表示；基变换公式B=AP、则坐标变换公式B=P^-1A

(4)线性变换T：T是一个从Vn到Um的映射，T满足T(α+β)=T(α)+T(β)且T(kα)=kT(α)

(5)线性变换T的核S_T：使T(α)=0的α的全体，核是V_n的子空间

(6)线性变换的矩阵表示：在Vn中取定一个基后，线性变换T与矩阵A之间有一一对应的关系，有T(α)=Aα

(7)定理：α、β为V_n中两个不同的基且β=αP，线性变换T在基α、β下对应的矩阵为A、B，则有B=P^-1AP

参考资料

[1] 同济大学数学系. 工程数学:线性代数[M]. 2014.