[机器学习笔记] 判别模型与生成模型

监督学习方法可以分为生成方法和判别方法。

判别模型
直接从训练数据中学习条件概率分布P(Y|X)或决策函数Y=f(X) 的方法为判别方法,学习到的模型是判别模型。
基本思想是,有限样本条件下,建立判别函数,不考虑样本的产生模型,直接研究预测模型。
学到了条件概率分布P(Y|X)或决策函数Y=f(X),就可以用来判别新的输入X对应的输出Y 。
典型的判别模型有:感知机、K近邻、决策树、逻辑回归、支持向量机、提升方法、条件随机场。

生成模型
首先学习联合概率分布P(X, Y),从而求得条件概率分布P(Y|X)的方法是生成方法,学习到的模型是生成模型。P(Y|X)= P(X,Y)/ P(X)
这样的方法之所以称为生成方法,是因为模型表示了给定输入X产生输出Y的生成关系。
基本思想是首先建立样本的联合概率概率密度模型P(X,Y),然后再得到后验概率P(Y|X),再利用它进行分类,就像上面说的那样。注意了哦,这里是先求出P(X,Y)才得到P(Y|X)的,然后这个过程还得先求出P(X)。P(X)就是你的训练数据的概率分布。
生成方法是学习数据的发布,所以需要更多的样本和更多计算,才能很好地描述数据的真正的分布。
典型的生成模型有:朴素贝叶斯、隐马尔可夫模型。
[机器学习笔记] 判别模型与生成模型_第1张图片

二者比较
生成模型更一般更普适。判别模型更直接,更简单。
实践中,多数情况下判别模型效果更好。

参考:李航《统计学习方法》第12章
zouxy09: http://blog.csdn.net/zouxy09/article/details/8195017

你可能感兴趣的:(机器学习,机器学习,判别模型,生成模型)