生成模型与判别模型

自然语言处理中，经常要处理序列标注问题（分词、词性标注、组快分析等），为给定的观察序列标注标记序列。

令o和s分别代表观察序列和标记序列，

根据贝叶斯公式，

1   生成模型和判别模型的定义

   对o和s进行统计建模，通常有两种方式：

(1)生成模型 （产生模型）

   构建o和s的联合分布p(s,o)

(2)判别模型 （条件概率模型， 条件模型）

   构建o和s的条件分布p(s|o)

2    判别模型和生成模型的对比

（1）训练时，二者优化准则不同

      生成模型优化训练数据的联合分布概率；

      判别模型优化训练数据的条件分布概率，判别模型与序列标记问题有较好的对应性。

（2）对于观察序列的处理不同

      生成模型中，观察序列作为模型的一部分；

      判别模型中，观察序列只作为条件，因此可以针对观察序列设计灵活的特征。

（3）训练复杂度不同

      判别模型训练复杂度较高。

（4）是否支持无指导训练

      生成模型支持无指导训练。

3   二者的本质区别是
discriminative model 估计的是条件概率分布(conditional distribution)p(class|context)
generative model 估计的是联合概率分布（joint probability distribution）p()

 

常见的Generative Model主要有：
– Gaussians, Naive Bayes, Mixtures of multinomials
– Mixtures of Gaussians, Mixtures of experts, HMMs
– Sigmoidal belief networks, Bayesian networks
– Markov random fields

常见的Discriminative Model主要有：
– logistic regression
– SVMs
– traditional neural networks
– Nearest neighbor

Successes of Generative Methods：
NLP
– Traditional rule-based or Boolean logic systems
Dialog and Lexis-Nexis) are giving way to statistical
approaches (Markov models and stochastic context
grammars)
Medical Diagnosis
– QMR knowledge base, initially a heuristic expert
systems for reasoning about diseases and symptoms
been augmented with decision theoretic formulation
Genomics and Bioinformatics
– Sequences represented as generative HMMs

主要应用Discriminative Model：
Image and document classification
Biosequence analysis
Time series prediction

Discriminative Model缺点：
Lack elegance of generative
– Priors, structure, uncertainty
Alternative notions of penalty functions,
regularization, kernel functions
Feel like black-boxes
– Relationships between variables are not explicit
and visualizable

 

转自：http://cid-2d7821b3af3c6073.spaces.live.com/blog/cns!2D7821B3AF3C6073!160.entry?fl=a