数据挖掘之产生模型VS判别模型

1.概述

产生式模型：无穷样本-->概率密度模型-->产生模型-->预测

判别式模型：有限样本-->判别函数-->预测模型-->预测

2.简介

假设s是观察值，m是模型：

如果对P(s|m)建模，就是产生模型（Generative）；

基本思想是：首先建立样本的概率密度模型，再利用模型进行推理预测。要求已知样本无穷或尽可能的大；一般建立在Bayes理论的基础之上

如果对条件概率P(m|s)建模，就是判别模型（Discrminative）；基本思想是：有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型；代表性理论：统计学习理论。

3.产生式模型

估计的是联合概率分布：p（class，context）=p（class|context）*p（context）=p（context|class）*p（class）

用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下；

在机器学习中，用于直接对数据建模，或作为生成条件概率密度函数的中间步骤。通过使用贝叶斯规则可以从生成模型中得到条件分布。

3.1 特点：

主要是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。

3.2 优点：

由于产生式方法可以在联合分布空间插入变量、不变量、独立性、先验分布等关系的知识；因此，在联合分布空间，通用性是其本质

包括了系统中的未知的、观察到的、输入或输出变量，使得产生式概率分布成为一个非常灵活的建模工具。

3.3 缺点：

产生式分类器需产生的所有变量的联合概率分布仅仅是分类任务的中间目标，对该中间目标优化的过程，牺牲了最终分类判别任务上的资源和性能，影响了最终的分类性能。

3.4 常用方法

Gaussians，Naive Bayes 高斯，朴素贝叶斯

Mixtures of multionmials

Mixtures of Gaussians

HMMs

Bayesian networks

Markov random fields

4.判别式模型

又可以称为条件模型，或条件概率模型。估计的是条件概率分布

判别式方法并不对系统中变量和特征的基本分布建模，仅仅对输入到输出之间映射的最优化感兴趣。

因此，仅需调整由此产生的分类边界，没有形成可对系统中变量建模的生成器的中间目标，可以得到准确率更高的分类器。

4.1 主要特点：

 寻找不同类别之间的最后分类面，反映的是异类数据之间的差异。

4.2 优点：

相比纯概率方法或产生式模型，分类边界更灵活

能清晰的分辨出多类或某一类与其他类之间的差异特征，适用于较多类别的识别

判别模型的性能比产生模型要简单，比较容易学习

4.3 缺点：

不能反映训练数据本身的特性；

判别式方法在训练时需要考虑所有的数据元组，当数据量很大时，该方法的效率并不高；

缺乏灵活的建模工具和插入先验知识的方法。因此，判别式技术就像一个黑匣子，变量之间的关系不像产生式模型中那样清晰可见。

4.4 常见方法：

logisitc regression 逻辑斯特回归

SVMs 支持向量机

neural networks 神经网络

nearest neighbor 近邻算法

conditional random fields （CRF）

4.5 应用：

图像和文本分类

生物序列分析

时间序列预测

5. 两者之间关系

由生成模型可以得到判别模型，但由判别模型得不到生成模型；