高斯分布

高斯分布在整个机器学习中都频繁出现，比如，在一开始学习线性回归的时候，在涉及到他的概率解释的时候，假设噪声服从高斯分布。在高斯混合模型（GMM），高斯判别分析（LDA）等等中，都涉及到了高斯分布，所以这里结合CS229课程笔记和机器学习-白板推导（二）-数学基础来对高斯分布进行一个介绍。

一、一维高斯分布

一维高斯分布的概率密度函数如下：

下面是均值为0，方差为1的高斯分布图像：

通常我们都会用极大似然估计法来对高斯分布的均值和方差进行估计，下面给出估计的过程。

二、多维高斯分布

多维高斯分布形式如下：

2.1  以协方差矩阵是对角矩阵，二维高斯的情况来理解多维高斯

当二维高斯变量是独立的时候，即协方差矩阵为对角矩阵的时候，联合高斯分布可以拆成两个独立高斯分布的乘积。

2.2  多维高斯分布的等高线图

在查阅多维高斯分布的资料时，尤其是二维高斯分布的时候，由于只有两个变量，所以可以在三维空间中画出，将三维空间的形状用等高线来画出，会看到二维高斯的等高线图如上图所示，那它为什么是这个形状呢？我们来推导一下。第一种角度是CS229笔记中给出的，直接推导2维下的情况。第二种是白板手推中提出的，推导高维的情况，然后让维度为2。

也可以从高维高斯分布来推导上述方程，如下：

从上面两种推导角度，都可以推出二维高斯的等高线图是一个椭圆。

如下图，是,协方差矩阵为，可以看到等高线的中心在3,5 

2.3  已知联合概率分布求边缘概率分布和条件概率分布

首先引入一个定理，关于这个定理的证明参见这篇论文：

下面开始计算边缘分布和条件分布

2.4  已知边缘概率分布和条件概率分布求联合概率分布

学高斯分布的时候，看了好几遍视频，才能大致懂他在讲什么。

参考资料：1>机器学习-白板推导（二）-数学基础

                    2>PRML

                    3>CS229高斯部分笔记