机器学习中的数学——特征向量、矩阵对角化

1. 线性代数
   向量,向量空间;矩阵, 线性变换;
   特征值, 特征向量;奇异值, 奇异值分解
2. 概率论与统计
   随机事件;条件概率, 全概率,贝叶斯概率;
   统计量, 常见分布; 基本原理
3. 最优化理论
   极限, 导数;线性逼近, 泰勒展开;
   凸函数, jensen不等式;最小二乘法; 梯度, 梯度下降

矩阵和线性变换

方阵能描述任意线性变换, 线性变换保留了直线和平行线, 但原点没用移动.


向量的每一个坐标都表明了平行于相应坐标轴的有向位移.
如果把矩阵的行解释为坐标系的基向量，那么乘以该矩阵就相当于执行了一次坐标转换，如果，我们就可以说，转换到。
从这点看，术语“转换”和“乘法”是等价的。
坦率地说，矩阵并不神秘，它只是用一种紧凑的方式来表达坐标转换所需的数学运算。进一步，用线性代数操作矩阵，是一种进行简单转换或导出更复杂转换的简便方法.
我们可以不依赖于坐标系而沿任意方向进行缩放，设为平行于缩放方向的单位向量，k为缩放因子,缩放沿穿过原点并平行于的直线（2D中）或平面（3D中）进行。

（待补充）

特征值与特征向量

定义:n阶方阵, 对于, 存在非零向量, 使得,则:就叫特征值, 就叫对应的特征向量
特征值可以为0, 特征向量不能为0

↓

↓

其中和为我们需要求得值

• 代表向量的线性变换,代表向量拉伸变换
• 特征向量的含义就在于使得哪些向量只发生拉伸变换
• 而特征值用于衡量相应的拉伸系数
• 特征值就是运动的速度, 特征向量就是运动的方向

注:只有方阵才能计算特征值和特征向量

---

例:

求特征值:



得:
针对特征值, 计算特征向量

针对特征值, 计算特征向量

例:

求特征值:

得:
针对特征值, 计算特征向量

针对特征值, 计算特征向量

另一种计算方式,首先将表示成特征向量和的线性组合,即:

然后,将特征值与对应系数(特征值)相乘, 得到:

这与相同,表示对向量的线性变换相当于的特征值和特征向量与的线性组合, 可以说在线性变换时, 矩阵的特征值和特征向量可以代表矩阵.
矩阵所充当的映射, 实际上就是对特征向量的缩放, 每个特征向量的缩放程度就是特征值.
将向量表示特征向量的线性组合(相当于以特征向量为基),得到相应的特征向量的权重.然后,每个权重与特征值相乘, 就是这个映射最本质的缩放操作.

---

特征值求法

image

奇异方阵

image

相似矩阵

定义:若与均为n阶方阵, 若存在一个可逆矩阵, 使, 则称与相似

对角化

---

定义及证明
定义:假设一个阶的方阵,有 个线性无关的特征向量, 所有的特征向量组成特征向量矩阵, 则有, 其中为由对应的特征值组成的对角矩阵, 即:

证明:

(矩阵对角化)

---

例:

对角化.

解:

对应的特征向量:

对应的特征向量:

(二阶时, 主对角线对换, 负对角线变号 )

---