生成模型与判别模型

监督学习的任务：学习一个模型，应用这个模型对给定的输入预测相应的输出。

监督学习的两种方法：生成方法，判别方法。用这两种方法学到的模型称为生成模型和判别模型。

生成方法：学习联合概率分布p(X|Y)，求出条件概率分布。模型给定输入X，产生输出Y的生成关系。典型的生成模型：朴素贝叶斯，隐马尔科夫模型。

判别方法：由数据直接学习决策函数或者条件概率分布，作为预测的模型。

两种方法各有优缺点，适用于不同条件下的学习问题。

两种方法的特点：

生成方法：

1可以还原联合概率分布，但是判别方法就不行。

2学习的收敛速度更快，当样本容量增加的时候学习到的模型能更快的收敛于真实的模型。

3当隐变量存在时，可以用生成方法去学习，但是判别方法就不行。

判别方法：

1因为直接学习的是条件概率或者决策函数，所以准确性更高。

2由于直接学习的是条件概率或者决策函数，所以对数据进行各种程度上的抽象，定义特征并使用特征。因此可以简化学习问题。