自然语言处理N天-Day0801从自然语言处理角度看HMM和CRF（理论概念）

新建 Microsoft PowerPoint 演示文稿 (2).jpg

说明：本文依据《中文自然语言处理入门实战》完成。目前网上有不少转载的课程，我是从GitChat上购买。

近几年在自然语言处理领域中，HMM（隐马尔可夫模型）和 CRF（条件随机场）算法常常被用于分词、句法分析、命名实体识别、词性标注等。
由于两者之间有很大的共同点，所以在很多应用上往往是重叠的，但在命名实体、句法分析等领域 CRF 似乎更胜一筹。通常来说如果做自然语言处理，这两个模型应该都要了解，下面我们来看看本文的内容。

第八课 从自然语言处理角度看HMM和CRF

贝叶斯定义理解生成式模型和判别式模型

• HMM：隐马尔可夫模型
• CRF：条件随机场

在这里引入了生成式模型、判别式模型以及贝叶斯模型的概念。
若记 P(A)、P(B) 分别表示事件 A 和事件 B 发生的概率，则 P(A|B) 表示事件 B 发生的情况下事件 A 发生的概率；P(AB)表示事件 A 和事件 B 同时发生的概率。
贝叶斯公式
即是说，事件B发生的情况下事件A发生的概率，是（事件A发生的情况下事件B发生的概率）*（事件A发生的概率）/（事件B发生的概率）。

生成式模型

生成式模型处理的是联合概率分布。由联合概率密度分布求出条件概率分布，生成模型公式为

基本思想是首先建立样本的联合概率密度模型 P(A,B)，然后再得到后验概率 P(B|A)，再利用它进行分类，其主要关心的是给定输入A产生输出B的生成关系。
其他常见的生成式模型有：Gaussian、 Naive Bayes、Mixtures of multinomials 等。

判别式模型
估计的是条件概率分布，给定观测变量A和目标变量B的条件模型，由数据直接学习决策函数 或者条件概率分布 作为预测的模型，其主要关心的是对于给定的输入 A，应该预测什么样的输出 B。
其他常见的判别式模型有：K 近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法等

HMM使用隐含变量生成可观测状态，其生成概率有标注集统计得到，是一个生成模型。
CRF使用反向HMM，通过可观测状态判别隐含变量，其概率亦通过标注集统计得来，是一个判别模型。