【机器学习实践】隐马尔可夫模型（二）Viterbi算法

隐马尔可夫模型的预测问题

已知一条可见层状态链，推导出最有可能的隐藏层状态链

Viterbi算法

维特比算法通过：全局最大概率必在每步优化时取得最大概率
参考资料：《统计学习方法》李航 清华大学（ppt）

python实现

个人对Viterbi算法进行实现，下面列出完整hmm类代码，Viterbi在get_hidden中得到实现。

#hmm.py

from operator import truediv
import numpy as np

class discrete_hidden_Markov_model:
    def __init__(self, debug:bool=False):
        #typical 5 model params of hmm(lambda(Pi, A, B))
        self.vis_kind = None
        self.invis_kind = None
        self.init_state_mat = None
        self.trans_state_mat = None
        self.emitter_mat = None
        #configurations
        self.debug = debug

    #from a visible chain, or a visible chain with an invisible chain, infer the params of the hmm model
    def fit(self, vis_data:np.ndarray, invis_data:np.ndarray=None)->None:
        pass #omitted

    #get the specific probability from a known visible chain, with the params of the model known
    def get_prob(self, vis_data:np.ndarray, algorithm:str="forward")->float:
        pass #omitted

    def get_hidden(self, vis_data:np.ndarray, algorithm:str="Viterbi")->np.ndarray:
        '''algorithm : 'Viterbi"
        '''
        if algorithm == "Viterbi":
            data_infer_len = vis_data.shape[0]
            prob = np.zeros((self.invis_kind, data_infer_len), dtype=np.float64)
            route = np.zeros((self.invis_kind, data_infer_len), dtype=np.int)
            compare_mat = np.zeros((self.invis_kind, self.invis_kind,), np.float64)
            #time complexity : O(T*N^2)
            for i in range(data_infer_len):
                for j in range(self.invis_kind):
                    if i == 0:
                        prob[j, 0] = self.init_state_mat[j] * self.emitter_mat[j, vis_data[0]]
                        route[j, 0] = j
                    else:
                        for k in range(self.invis_kind):
                            compare_mat[j, k] = self.trans_state_mat[j, k] * self.emitter_mat[k, vis_data[i]] * prob[j, i-1]
                        target_branch = np.argmax(compare_mat[j, :])
                        prob[j, i] = compare_mat[j, target_branch]
                        route[j, i] = target_branch
            if self.debug : print(prob)
            if self.debug : print(route)
            final_prob = prob[:, -1].ravel()
            return route[final_prob.argmax(), :]

        else:
            print("[-] should choose the right algorithm");return

通过实例化进行检验计算

#main1.py

import numpy as np
import hmm 
from data_gen import get_chain

vis, invis = get_chain()

yyz_hmm_machine = hmm.discrete_hidden_Markov_model(debug=False)
yyz_hmm_machine.fit(vis, invis)

vis_target = np.array([0, 2, 1, 2, 0])
print(yyz_hmm_machine.get_hidden(vis_target))

调用相关模块实现功能

result

[0 2 2 2 1]

通过使用该模块得到了一条最有可能的隐藏层序列，其中序号代表隐藏层种类。

总结

1. 维特比算法的运算时间复杂度相比于暴力计算降低，其原理依赖于统计学理论的定理。
2. 维特比算法和前向、后向算法一样，相对而言过程比较简单，编程容易上手；但是基于EM算法的Baum-Welch算法过程较为复杂。下一篇拟先对一般的EM算法进行实现，再进一步对B-W算法进行实现，完成hmm系列的最后一篇。
3. vscode对于python的debug功能很好用，便于代码快速成型和测试。

参考
知乎资料