【一起入门NLP】中科院自然语言处理第12课-NLP基础任务③：序列标注问题（马尔可夫模型）

专栏介绍：本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录，不仅仅是课程笔记噢～ 一起来看看吧

序列标注问题概述

• 在自然语言处理任务中，有许多的任务可以转化为**“将输入的语言序列转化为标注序列”**来解决问题。如，命名实体识别、信息抽取、词性标注……
• 标注问题是分类问题的推广，是复杂结构预测的简单形式（监督学习），许多自然语言处理问题 均可转化为序列标注问题。

马尔可夫模型

1. 马尔科夫链：
   一个系统有N个状态 S1，S2，···，Sn，随着时间（空间）推移，系统从某一状态转移到另一状态。
   
   如果系统在t时间的状态q t 只与其在时间 t -1的状态相关，则系统构成离散的一阶马尔可夫链(马尔可夫过程)
2. 模型组成：三元组
   
3. 模型作用：定量描述随机事件的变化过程
4. 举例:
   假定一段时间内的气象可由一3状态马尔可夫模型 M 描述：S1 ：雨，S2 ：多云，S3 ：晴，转移概率矩阵如下，如果第一天为晴天，根据这一模型，求在今后七天中天气为 S=“晴晴雨雨晴云晴”的概率。
   

隐马尔可夫模型

该模型是一个双重随机过程，我们不知道具体的状态序列，只知道状态转移的概率，即模型的状态转换过程是不可观察的（隐蔽的）而可观察事件的随机过程是隐蔽状态转换过程的随机函数。

这一部分知识点与机器学习重合，可以看这篇博客：
【一起入门MachineLearning】中科院机器学习第*课-概率图模型：隐马尔可夫模型（前向算法+维特比算法+条件随机场）

神经网络序列标注模型

1.神经网络序列标注模型架构：

2.用双向RNN+softmax 模型：

实验可以看这篇博客：
NLP作业三：用BiLSTM+CRF实现中文命名实体识别（TensorFlow入门）【代码+报告】