判别模型和生成模型

目录

判别模型

生成模型

总结

举例说明

常见算法

---

判别模型

判别模型：由训练数据直接学习得到P(Y|X)，再利用最大后验概率法得到Y；或者直接学习得到一个映射函数Y=F(X）。寻找不同类别之间的最优分类面，反应异类数据之间的差异。

判断分类器：（1）假设P(Y|X)的某种函数形式, 该函数的输入是X，输出是Y

                      （2）直接从训练数据估计P(Y|X)的参数

生成模型

生成模型：由训练数据学习联合概率密度分布P(X,Y)，再根据贝叶斯公式得到P(Y|X)；预测时应用最大后验概率法得到预测类别Y。以统计的角度表示数据的分布情况，能够反应同类数据之间的相似度。

生成分类器：（1）假设P(Y), P(X|Y)的某种函数形式
                      （2）根据训练数据估计P(X|Y)、P(Y)的参数，得到联合概率P(X,Y)
                      （3）使用贝叶斯规则计算P(Y|X) 

总结

二者目的都是在使后验概率最大化，判别式是直接对后验概率建模，但是生成模型通过贝叶斯定理这一“桥梁”使问题转化为求联合概率：

	过程
判别模型	训练数据集———最小化经验误差———决策边界
生成模型	训练数据集———正负类的分布———决策边界

举例说明

借助维基百科上Generative条目里的经典案例理解判别模型和生成模型：

假设有四个样例：

样例

	样例1	样例2	样例3	样例4
x	0	0	1	1
y	0	0	0	1

（1）判别模型：

判别模型

	y=0	y=1
x=0	1	0
x=1	1/2	1/2

 

（2）生成模型

生成模型

	y=0	y=1
x=0	1/2	0
x=1	1/4	1/4

 

常见算法

判别模型	K近邻、SVM、决策树、感知机、线性判别分析（LDA）、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场
生成模型	朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型（LDA）、限制玻尔兹曼机