【机器学习】生成模型和判别模型

定义：
生成方法由数据学习联合概率分布P(x, y)，然后求出条件概率分布P(y|x)作为预测的模型。
包括朴素贝叶斯，贝叶斯网络，高斯混合模型，隐马尔科夫模型等。

判别方法由数据直接学习决策函数y = f(x) 或者条件概率分布P(y|x) 作为预测的模型。
包括K近邻，感知机，决策树，逻辑回归，提升方法，支持向量机和条件随机场等。

对比：
生成模型能反映数据之间的关系，可以做增量学习，生成模型的学习收敛速度更快，而且对于存在隐变量的问题，仍可以使用生成模型（如隐马尔科夫）。但是生成模型学习和计算过程更加复杂。

判别模型是寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。判别模型不能反映数据本身的特性。但是判别模型简单易懂，而且可以对数据进行各种抽象、定义特征并使用特征，可以简化学习问题。