生成模式和判别模式区别

生成模型和判别模型区别

对于输入x，类别标签y：

生成式模型估计它们的联合概率分布P(x,y)
Gaussians、Naive Bayes、Mixtures of Multinomials
Mixtures of Gaussians、Mixtures of Experts、HMMs
Sigmoidal Belief Networks, Bayesian Networks、Markov Random Fields
Latent Dirichlet Allocation

判别式模型估计条件概率分布P(y|x)
Logistic Regression、SVM、Traditional Neural Networks、Nearest Neighbor、
CRF、Boosting、Linear Regression

判别方法：由数据直接学习决策函数 Y = f（X），或者由条件分布概率 P（Y|X）作为预测模型，即判别模型。
生成方法：由数据学习联合概率密度分布函数 P（X,Y）,然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。

由生成模型可以得到判别模型，但由判别模型得不到生成模型。
常见的判别模型有：K近邻、SVM、决策树、感知机、线性判别分析（LDA）、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场
常见的生成模型有：朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型（LDA）、限制玻尔兹曼机