高斯判别分析(GDA,Gaussian discriminant analsis)和Logistic回归

高斯判别分析与Logistic回归之间是有一定关系的，通过公式转换，我们能够把高斯判别分析的公式转换为Logistic回归公式。但是高斯判别分析与Logistic回归之间有什么关系呢？

如果 x|y∼Gaussian (意为给定 y 的情况下 x 符合高斯分布)，那么对于 p(y|x) 一定一个Logistic函数；反过来，如果 p(y|x) 是一个Logistic函数，但是 x|y 不一定符合高斯分布。更一般的，对于 x|y∼ExponentialFamily(η) ，那么 p(y|x) 是一个logistic函数。

其实高斯判别分析中 x|y 是一个比较强的假设(举例来说 x∼Gaussian 相对于 x∼ExponentialFamily 来说就是一个强假设)，而对于Logistic回归是一个比较弱的假设。当我们知道 x|y 符合或者近似符合高斯分布时，我们可以使用高斯判别分析，此时，我们只需要相对较少的训练数据，就能得到比较好的分类器；这时如果我们使用Logistic回归，那么要想取得与高斯判别分析性能相近的分类器，就需要相对来说更多的数据量。相对的，如果我们不知道 x|y 是什么分布，那使用Logistic回归得到的分类器相对与高斯判别分析得到的分类器可能会更好，也就是说Logistic回归的鲁棒性会更好。

基于以上原因，在实际应用中使用Logistic回归相对来说会更多。