【深度之眼花书训练营第五期】第一周-数学基础-课程1

第一周-数学基础的学习大纲

1. 矩阵对角化，SVD分解以及应用
2. 逆矩阵，伪逆矩阵
3. PCA原理与推导
4. 极大似然估计，误差的高斯分布与最小二乘估计的等价性
5. 最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件

课程1 矩阵对角化，SVD分解以及应用

1. 矩阵的基础知识

矩阵的基本性质：（其中A、B、C 均为矩阵，x、y为向量）

• A(B+C)=AB+AC (分配率)
• A(BC)=(AB)C (结合律)
• AB≠BA (一般不满足交换律)
• (AB) T=BTAT(转置)
• x Ty=(x Ty) T=y Tx(转置) 注释：x,y都是列向量，xT是行向量， xT y的结果是一个标量
• 单位矩阵：任意向量或矩阵和单位矩阵相乘，都不会改变，记为I 。所有沿主对角 线的元素都是1，而所有其他位置的元素都是 0
• 矩阵逆：矩阵（方阵）的逆满足条件：A(-1)A=AA(-1)=I

2. 矩阵对角化

矩阵B（方阵）的对角化P(-1)AP=B，其中A为对角矩阵，P为单位正交矩阵。
注：
对角矩阵A：即对角线有值，其他位置均为0
单位正交矩阵P：P(T)P=PP(T)=I =>P(T)=P(-1)
一般的矩阵不一定能对角化，但是对称矩阵一定可以对角化(特别是对称正定矩阵，得到的入i都是正数)
补充：对阵正定矩阵
若A对称且对任意x属于R(n)，x≠0都有X(T)AX>0,则称A为对称正定矩阵

注：由于部分矩阵暂时不会表示出来，暂时先用图像代替

由此我们可以得出矩阵对角化其实就是对矩阵的分解，比如原来的矩阵需要存储n*n个，对角化后矩阵变成了多个n个元素的简单矩阵。
常见例题
曾经一道面试题矩阵的压缩表示最小n+1，就是采用的该方法，先将矩阵对角化后取第一项。

3. 矩阵的svd分解

补充：两个矩阵交换相乘，分别求其特征值：
假设（AB）和（BA）求特征值，可得其特征值中不为零的特征值应相同，具体的证明可用迹来证明。

应用实例
图像的压缩存储或者部分显示。

后续将继续更新课程内容. . . .