高斯判别分析

1） 多值正态分布
多变量正态分布描述的是n 维随机变量的分布情况，这里的μ变成了向量，σ也变成了矩阵Σ。写作N(μ,Σ)。假设有n 个随机变量x1 , x2, … , xn。μ的第i 个分量是E(X)，而Σii = Var(Xi )，Σij = Cov(Xi,Xj )。
概率密度函数如下：

其中|Σ|是Σ的行列式，Σ是协方差矩阵，而且是对称半正定的。
当μ是二维的时候可以如下图表示：

其中μ决定中心位置，Σ决定投影椭圆的朝向和大小。
如下图：
对应的Σ都不同。
2）模型分析与应用
如果输入特征x 是连续型随机变量，那么可以使用高斯判别分析模型来确定p(x|y)。
模型如下：

输出结果服从伯努利分布，在给定模型下特征符合多值高斯分布。通俗地讲，在山
羊模型下，它的胡须长度，角大小，毛长度等连续型变量符合高斯分布，他们组成
的特征向量符合多值高斯分布。
这样，可以给出概率密度函数：

最大似然估计如下：

注意这里的参数有两个μ，表示在不同的结果模型下，特征均值不同，但我们假设
协方差相同。反映在图上就是不同模型中心位置不同，但形状相同。这样就可以用
直线来进行分隔判别。
求导后，得到参数估计公式：

Φ是训练样本中结果y=1 占有的比例。
μ0是y=0 的样本中特征均值。
μ1是y=1 的样本中特征均值。
Σ是样本特征方差均值。
如前面所述，在图上表示为

直线两边的y 值不同，但协方差矩阵相同，因此形状相同。μ不同，因此位置不同。
3） 高斯判别分析（GDA）与logistic 回归的关系
将GDA 用条件概率方式来表述的话，如下：

进一步推导出

这里的θ是的函数。
这个形式就是logistic 回归的形式。
也就是说如果p(x|y)符合多元高斯分布，那么p(y|x)符合logistic 回归模型。反之，
不成立。为什么反过来不成立呢？因为GDA 有着更强的假设条件和约束。
如果认定训练数据满足多元高斯分布，那么GDA 能够在训练集上是最好的模型。然
而，我们往往事先不知道训练数据满足什么样的分布，不能做很强的假设。Logistic
回归的条件假设要弱于GDA，因此更多的时候采用logistic 回归的方法。