[机器学习入门] 李宏毅机器学习笔记-29 (Sequence Labeling Problem part 1;结构化预测-序列标记 part 1)

[机器学习入门] 李宏毅机器学习笔记-29(Sequence Labeling Problem part 1;结构化预测-序列标记 part 1)

PDF	VIDEO

---

Sequence Labeling

这里写图片描述

Example Task

POS tagging

词性标注，必须要考虑整个句子的information，所以光靠查表是无法解决的。

这里写图片描述

这里写图片描述

Outline

这里写图片描述

Hidden Markov Model (HMM)

隐马尔科夫模型
人是用一下两个步骤产生句子的。

HMM 2 steps

这里写图片描述

数字表示词相接的几率
比如动词后面接冠词，冠词后面接名词

这里写图片描述

产生某一词的几率就是一路上相乘的结果

这里写图片描述

HMM就是在描述说出某一句话的几率

这里写图片描述

总结一下

这里写图片描述

---

HMM – Estimating the probabilities

那么这个路径里的几率该如何得到呢？这就需收集data了。

这里写图片描述

有了充沛的标注数据集，这个问题就容易解决了。计算方法就是，比如，s后面接t的次数／s出现的个数=s后面接t的概率

这里写图片描述

---

HMM – How to do POS Tagging?

回到我们的任务是，有了句子x，找y，而y是未知的。
通过上面得到的几率，我们要把y找出来。

这里写图片描述

自然而然会想到是，概率最大的就是y，通过穷举y就可以实现。

这里写图片描述

HMM – Viterbi Algorithm

维特比算法

我们会发现，穷举的思想虽然容易想到，但是计算数量级会很大，还好我们有维特比算法来降低计算量。

这里写图片描述

---

HMM-Summary

这里写图片描述

HMM-Drawbacks

这里写图片描述

但是HMM有个问题，会脑补没有出现过的句子，很可能在training data中没有出现过的搭配却表现地不错，这种特点说明它在数据很少的时候是比较适用的。
那么为什么会产生这种脑补的现象，因为对他来说，transition probability和deviation 的probability是independent。

这里写图片描述

那么CRF就能解决这一问题。

（下接part 2 ）