统计学习方法（一）生成模型与判别模型

1 定义

监督学习方法分为生成方法（generative approach）和判别方法（discriminative approach），所学到的模型分别为生成模型和判别模型。
生成方法由数据学习联合概率分布，然后求出条件概率分布作为预测模型，即生成模型：这样的方法之所以被称为生成方法，是因为模型表示了给定输入产生输出的生成关系。典型的生成模型有：朴素贝叶斯和隐马尔科夫模型。
判别方法由数据直接学习决策函数或者条件概率分布作为预测的模型，即判别模型。判别方法关心的是对给定的输入，应该预测什么样的输出，典型的判别模型包括：近邻法、感知机、决策树、逻辑斯谛回归、最大熵模型、支持向量机、提升方法和条件随机场等。

2 特点

2.1 生成方法的特点

生成方法可以还原出联合概率分布，而判别方法则不能；生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更加收敛于真实模型；当存在隐变量（？）时，仍可以用生成方法学习，此时判别方法就不能用。

2.2 判别方法的特点

判别方法直接学习的是条件概率或决策函数，直接面对预测，往往学习的准确率更高；由于直接学习或，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。

---

参考文献：
李航. 统计学习方法[M]. 清华大学出版社, 2012.