HMM-维特比算法(viterbi)原理以及简单实现

学习目标：

概率图模型

---

学习内容：

HMM算法（隐马尔科夫模型）中的维特比算法

---

学习记录：

维特比算法步骤：
1.初始化

2.递推

3.终止

4、最优路径回溯

解释一下：我们要得到最优路径，viterbi采用的式局部最优来解决，每一次都取时间t到时间t+1的概率最大的路径。开始要初始化，先计算t=1时的概率 δ1（1），δ1（2），δ1（3）。令φ1（1）=0，φ1（2）=0，φ1（3）=0。再计算从t=1时刻到t=2时刻每一个状态改变到下一个状态的概率（即状态转移矩阵）选出每个状态中最大的来作为φ2（i）存起来作为最佳局部路径。递推下去，终止的时候P*即为实现该最佳局部路径的概率。再最佳路径回溯回去，找到其路径。

看一个案子

这里把第一天去迪士尼，第二天还在迪士尼的概率改成0.5。

代码实现：

import numpy as np


def Viterbi(A, B, PI, V, Q, obs):
    # V观测集合（买不买），Q状态集合（哪个地方）
    N = len(Q)
    T = len(obs)
    delta = np.array([[0] * N] * T, dtype=np.float64)
    phi = np.array([[0] * N] * T, dtype=np.int64)

    # 初始化,即t=1时
    for i in range(N):  # 遍历每个状态
        delta[0, i] = PI[i] * B[i][V.index(obs[0])]  # delta=pi(i)*bi(o1)
        phi[0, i] = 0  # f1(1)=0,f1(2)=0,f1(3)=0

    # 递归计算,即t>=2
    for i in range(1, T):
        for j in range(N):  # N=3,即A的列数，A的列数就等于状态数
            tmp = [delta[i - 1, k] * A[k][j] for k in range(N)]  # tmp=max(delta(t-1)*a(ji))
            # 计算上一个到下一个的概率
            delta[i, j] = max(tmp) * B[j][V.index(obs[i])]  # delta=tmp*bi(ot)
            # 乘以相应观测概率得到delta
            phi[i, j] = tmp.index(max(tmp))  # ft(i)=argmax(delta(t-1)a(ji))
            # 记录下概率最大的下标

    # 最终概率及节点
    P = max(delta[T - 1, :])  # P=max(delta(i))
    #P就是最后t=3时最大的delta
    I = int(np.argmax(delta[T - 1, :]))  # i*(T)=argmax[delta(i)]
    #i3*=最大的delta对应的下标，此题I=2
    # 最优路径path
    path = [I]
    for i in reversed(range(1, T)):#321
        end = path[-1]
        path.append(phi[i, end])#添加进来f3(end),f2(end),f1(end)，end分别是2，2，3
    hidden_states = [Q[i] for i in reversed(path)]#逆序输出path，Q[3]->Q[3]->Q[2]
    return P, hidden_states


if __name__ == '__main__':
    # 状态集合
    Q = ('欢乐谷', '迪士尼', '外滩')
    # 观测矩阵
    V = ['购物', '不购物']
    # 转移矩阵
    A = [
        [0.8, 0.05, 0.15],
        [0.2, 0.5, 0.3],
        [0.2, 0.3, 0.5]
    ]
    # 发射矩阵
    B = [
        [0.1, 0.9],
        [0.8, 0.2],
        [0.3, 0.7]
    ]
    # 初始概率
    PI = [1 / 3, 1 / 3, 1 / 3]
    # 观测序列
    obs = ['不购物', '购物', '购物']
    P, hidden_states = Viterbi(A, B, PI, V, Q, obs)
    print('最大的概率为：%.5f.' % P)
    print('隐藏序列为：%s.' % hidden_states)