自然语言处理之三：最大熵马尔科夫模型

最大熵马尔科夫，看了N遍了。终于有点眉目。

 

最大熵马尔科夫在建模的时候考虑的问题和ME（最大熵模型）其实是一样的。

 

同样是马尔科夫的三个基本问题。

 

问题1：给定观察序列O=O1,O2,…OT,以及模型  λ=(π, A, B),  如何计算P(O|λ)？ 

问题2：给定观察序列O=O1,O2,…OT以及模型λ,如何选择一个对应的状态序列     S = q1,q2,…qT，使得S能够最为合理的解释观察序列O？即argmaxs_s∈Q^|T|P(T,S|λ).

问题3：如何调整模型参数 λ=(π, A, B)  ,  使得P(O|λ)最大？

 

1. 对于第一个问题使用类似于Forward-Backward的过程来解决。

2. 对于第二个问题使用类似于Viterbi的算法来解决。

3. 对于第三个问题使用和ME模型训练相同的方法GIS来解决。

 

在建模的时候MEMM想优化的问题和ME很像。而在运用模型的时候和HMM很像。