MEMMs(Log-Linear Tagging Models)

和HMMs相比，Log-Linear Tagging Models的核心优势在于它高度灵活的表示，它可以让丰富的特征在模型中很容易地聚合起来！

提示：MEMMs和Log-Linear Tagging Model是同一个模型，因为ME本质上就是Log-Linear Model，而且MEMMs中用到的马尔可夫假设和HMM中用到的是几乎一样。只不过MEMMs是一个判别模型，它学习的是一个条件分布！

条件标注模型

有三个核心问题需要解决：

我们用对数线性模型来定义条件标注模型，用对数线性模型的参数估计方法来估计参数，用维特比算法的变形来寻找最优标注序列即解码问题。

1，Trigram MEMMs

在理解玩HMM和对数线性模型之后，这个模型就变得十分简单了。

1. 我们的根本任务是对以下条件分布建模：

   

2. 首先利用链式法则和二阶马尔可夫假设对以上的条件分布进行分解，得到：

   

3. 利用对数线性模型对以下概率进行估计：

   
   其中，必须理解 hi h i 的定义。

则Trigram MEMMs的正式定义如下：

2，Features in Trigram MEMMs

Trigram MEMMs容易聚合大量特征的优点使得它比Trigram HMM强的多！而且Trigram MEMMs可以聚合任意形式的特征！

主要特征有：

• Word/tag feature：类似HMM中的e(x|y)。
  

• Prefix and Suffix feature：拼写特征，类似HMM中的那些低频词中的伪词。
  

• Trigram,Bigram and Unigram Tag features：词性搭配特征，类似HMM中的q(VB|DT,JJ)。
  
• Other Contextual Features
  
• Other Features
  

3，Trigram MEMMs的参数估计

和对数线性模型的方法一样，通过最大似然估计将其转化为最优化问题。

对数似然函数如下：

则所估计的参数为：

4，MEMMs的解码问题

解码问题如下：

维特比算法求解：

MEMMs中的维特比算法的递归式和HMM中的维特比算法的递推式区别很小，如下：

算法详细流程如下：

还是比较容易理解的。

5，总结

由于MEMMs仍然存在标注偏置问题，所以之后又有了CRF！，它们之间的能力：CRF>MEMM>HMM。