从HMM到CRF

HMM:

假如我们有一个翻译系统:
从HMM到CRF_第1张图片
y = (y1, y2, … yt) 表示用户说的单词
x = (x1, x2, … xt) 表示语音的信号
那么我们要求的P(x, y) = P(y1) * P(y2|y1) * P(y3|y2) * … * P(yt|yt-1) * P(x1|y1) * P(x2|y2) * … * P(xt|yt)
在这里插入图片描述
可是在实际的使用场景中,通常每个tag都不仅受当前输入的影响,也会受其他输入的影响,所以我们可以在此引申出MEMM

MEMM

MEMM的模型可以如下图表示:

从HMM到CRF_第2张图片
同理可推出以下公式:
在这里插入图片描述
但是该模型会出现Label Bias Problem问题,为了解决该问题,在此引申出CRF

CRF

CRF的模型大概如下,在MEMM的基础上,去掉了y与y之间的方向
从HMM到CRF_第3张图片
推导可得
从HMM到CRF_第4张图片
这里我是直接网上找的截图,
在这里插入图片描述指的是x_1:n

你可能感兴趣的:(自然语言处理)