生成模型和判别模型

首先从监督学习来认识
1、监督学习的主要任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出。这一模型的一般形式为决策函数：Y=f(X) 或条件概率分布：P(Y|X)。
2、监督学习的方法又可以分为生成方法和判别方法，所学到的模型分布称为生成模型和判别模型。
3、生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型。即生成模型：P(Y|X)=P(X,Y)/P(X)。
之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系:P(Y|X)。
典型的生成模型有：朴素贝叶斯法、隐马尔科夫模型、高斯混合模型。
4、判别方法由数据直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。
典型的判别模型包括：KNN、感知机、决策树、线性回归、逻辑斯蒂回归模型、支持向量机、神经网络、boosting提升方法。
5、有时称判别模型求的是条件概率，生成模型求的是联合概率