【深度之眼花书训练营第五期】第一周-数学基础-课程3

第一周-数学基础的学习大纲

1. 矩阵对角化，SVD分解以及应用
2. 逆矩阵，伪逆矩阵
3. PCA原理与推导
4. 极大似然估计，误差的高斯分布与最小二乘估计的等价性
5. 最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件

课程3 极大似然估计，误差的高斯分布与最小二乘估计的等价性

假设随机变量 X~P(X; θ)
现有样本x1,x2,x3,…,xN
定义似然函数为L=P（x1;θ）P（x2;θ）P（x3;θ）…P（xN;θ）
对数似然函数为L=InL=Ln[P（x1;θ）P（x2;θ）P（x3;θ）…P（xN;θ）]
极大似然函数为max L

示例如下：（由于部分公式展示困难，所以采用图像的方式展示）

如图上所示，数学期望为μ、方差为σ，其余的为简单的推到过程。

x1, x2, x3, … ,xN ， x(i)属于Rn
y1, y2, y3, … ,yN ， y(i)属于R
yi = wTxi , w属于Rn
拟合误差 ： ei = yi - wTxi
若设ei ~ N(0,1)
即 ei ~ (1/2π ^ 2 ) e ^ ( - (ei ^ 2) / 2)

似然函数 L = Ln[ (1/2π ^ 2 ) e ^ ( - (e1 ^ 2) / 2) (1/2π ^ 2 ) e ^ ( - (e2 ^ 2) / 2) (1/2π ^ 2 ) e ^ ( - (e3 ^ 2) / 2) … , (1/2π ^ 2 ) e ^ ( - (eN ^ 2) / 2) ]
即 L = -NLn( 2π ^ 2 ) - 1/2( e1 ^ 2 + e2 ^ 2 + e2 ^ 2 + … + eN ^ 2 )

最大化 L 等价于 最小化（e1 ^ 2 + e2 ^ 2 + e2 ^ 2 + … + eN ^ 2 ）
min（y1 - wTx1） ^ 2 + （y2 - wTx2） ^ 2 + （y3 - wTx3） ^ 2 + … + （yN- wTxN） ^ 2 = J

注：由于公式表示的困难，即使表示出来了也难以看懂，以后的大部分将以图像的形式展示。

如上图所示为紧着着文字部分的推导过程，有地方不懂的可以去回看先前发布的文章。

本次课程的内容就分享到这里。后续将继续更新课程. . . .