机器学习-白板推导学习笔记-2高斯分布

 本篇文章是根据视频（ link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。

一维高斯分布

设Data为，且服从高斯分布，即。对应的概率密度函数为：

 为了对参数进行更好的估计，将概率密度函数进一步展开：

 求解参数时，往往是求其极值。利用求偏导等于0。对于参数：

 对于参数：

 无偏和有偏

通常，被估计量的数学期望如果等于被估参数的真实值，则称为无偏估计；反之，称为有偏估计。下面来分析高斯分布中利用极大似然估计MLE出的参数是有无误差：

 通过上面两个公式可以得到，对于参数，得到的是无偏估计；而对于参数得到的有偏估计，估计小了。

多维高斯分布

（这里没听太明白，只把一些结论记录下来）

当数据服从p维高斯分布时，参数和不再是一个单数的数，而是矩阵的形式。

例，其中，，对应的概率密度函数为：

 其中，也叫做协方差矩阵，具有对称性质，且通常假设为正定矩阵（为了进行奇异值分解）。

· 概率密度函数中的也叫做马氏距离（与之间的），当时，可表示欧氏距离。

·  当p=2时，即服从二维高斯分布，每一个对应的概率值都对应一个椭圆（也就是说的等高线）：

·  还有一个定理：

 若，，则