ML—高斯判别分析、朴素贝叶斯和逻辑回归

华电北风吹

天津大学认知计算与应用重点实验室

最后修改日期：2015/8/22

      近来看论文中经常看到GDA和朴素贝叶斯，并且论文中说的算法中用到的贝叶斯公式，对怎么用的原理以前没有仔细研究，今天仔细的看了斯坦福机器学习的关于GDA，NB和LR的讲义部分。理解了贝叶斯公式在GDA和NB中的原理，以及GDA和LR的关系。

      与以前学习贝叶斯公式相比

      贝叶斯公式：对于目标B有不同的到达方式A_i，i=1,2,3,...,n。已知p(A_i)和p(B|A_i)的话，如果知道B发生了，可以知道A_i的后验概率。

      在GDA和NB中，类别标签就相当于A_i,每一个特征相当于B的一个分量。根据采集到的样本和样本的标签，根据先验概率最大化思想可以计算出每一个类别的概率p(A_i)和条件概率p(B|A_i)，然后对于测试样本可以根据贝叶斯公式计算这个样本属于每一个类别的后验概率，取最大的即为预测类别。

      简而言之就是，训练一个树形结构，每一个节点Y_i的子节点集合都包括所有的输出，然后根据贝叶斯公式计算出概率最大的那个Y_i做为输出。LR，GDA，NB都是基于先验概率最大化得到模型参数，然后根据后验概率最大化确定类别。

------------------

祝身体健康，万事如意

张正义

天津大学计算机科学与技术学院

天津市卫津路92号

邮编： 300072

邮箱： [email protected]