生成模型和判别模型

监督学习就是学习一个模型（决策函数或条件概率分布），给定模型的输入，预测相应的输出。
学习的方法分为生成方法和判别方法，对应的模型分为生成模型和判别模型。

生成模型

从数据中学习联合概率分布P(X,Y)–>求成条件概率分布P(Y|X)，模型表示：给定输入X生成输出Y的生成关系；
举例：朴素贝叶斯模型、隐马尔科夫模型
优点：
1. 可还原出联合概率分布P(X,Y);
2. 收敛快；
3. 可以解决隐变量问题，如EM算法、混合高斯模型。

判别模型

直接学习决策函数或条件概率分布作为模型，对于给定的X，预测什么样的Y；
举例：k近邻、感知机、决策树、逻辑回归、最大熵模型、SVM、提升方法、条件随机场
特点：
1. 直接根据X预测Y，准确率高；
2. 可以对输入数据进行抽象，定义特征并使用特征，可简化学习问题。