生成模型与判别模型

生成模型：
通俗的说，给定输入X产生输出Y的模型叫生成模型，生成模型也是描述这样一种关系。
数学解释：
由数据学习联合概率分布$P(X,Y)$,然后求出条件概论分布$P(Y|X)$作为预测的模型。$P(Y|X)$=$\frac{P(XY)}{P(X)}$
典型的生成模型有朴素贝叶斯和隐马尔科夫模型

判别模型：
通俗的说，由数据直接判定输出，即给定对应的输入X，应该预测什么杨的输出Y
数学解释：
由数据直接学习决策函数$f(X)$或者条件概率分布$P(Y|X)$作为预测的模型。典型的判别模型有：K近邻算法，感知机，决策树，逻辑回归，最大熵，支持向量机/提升方法和条件随即场。

两者比较：
1）生成方法可以快速还原出联合概率分布$P(X,Y)$，判别方法不能；
2）生成方法的学习收敛速度快，当样本容量增加的时候，学到的模型可以更快的收敛3）于真实模型；当存在隐变量时，此判别方法不能用

判别方法直接学习的是条件概论或决策函数，因此学习的准确率更高，且可以对数据直接进行抽象，可以简化学习。

总结：
**生成模型：**朴素贝叶斯，隐马尔科夫模型
**判别模型：**SVM，K近邻，逻辑回归，最大熵，感知机，决策树，条件随机场

条件随机场与隐马尔科夫相比，可以得到全局的特征，但是速度会慢一点，而且两者是不一样的判别模型！