判别模型和生成模型总结与对比

对比	判别模型(Discriminative Models)	生成模型(Generative Models)
特点	在有限样本条件下建立判别函数，寻找不同数据间的最优分类面，目标是实现分类	首先建立样本的联合概率分布，再利用模型进行推理预测。要求已知样本无穷或尽可能的大
区别	估计条件概率分布P(y\x)	估计联合概率分布P(x,y)
联系	生成模型可得到判别模型	判别模型得不到生成模型
常见模型	ME、CRF、LR、SVM、Boosting、线性回归、NN	NB、HMM、Gaussian mixture model、AODE、Latent Dirichlet allocation、Restricted Boltzmann Machine
优势	1.面向分类边界的训练、比使用纯方法高级。2.能够清晰地分辨类别之间的差异特征。3.可用于多类对的学习和识别。4.简单、容易学习。	1.面向整体数据的分布。2.能够反映同类数据本身的相似度。3.模型可以通过增量学习得到。4.可用于数据不完整的情况
劣势	1.不能反映训练数据本身的特性，只能用于类别识别。2.在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高 3.缺乏灵活的建模工具和插入先验知识的方法。黑盒操作：变量间的关系不可视	1.生成模型分类器需要产生的所有变量的联合概率，资源使用量大。2.分类性能不高，类别识别精度有限。3.学习和计算过程复杂。