机器学习笔记（十二）——马尔科夫模型

    马尔科夫模型是一种概率图模型，它描述了一类重要的随机过程(随机过程又称为随机函数，是随时间而随机变化的过程)。我们常常需要考察一个随机变量序列，这些随机变量序列并不是相互独立的，每个随机变量的值都依赖于这个序列前边的状态。

    如果一个系统有 N 个有限状态 S={s1,s2,…,sN} ，那么随着时间的推移，该系统将从一个状态转换到另一个状态。 Q=(q1,q2,…,qT) 为一个随机序列，它表示为在 t 时刻系统的状态 qT ，值为 S 中的某个状态。

系统在时间 t 处于状态 sj 的概率取决于其在时间 1,2…,t−1 的状态，该概率为：

P(qt=sj|qt−1=si,qt−2=sk,…)

    如果在特定的条件下，系统在时间 t 的状态只与它之前 t−1 的状态有关，即

P(qt=sj|qt−1=si,qt−2=sk,…)=P(qt=sj|qt−1=si)(1)

则该系统构成一个离散的 一阶马尔科夫链。

    如果只考虑(1)式独立于时间 t 的随机过程：

P(qt=sj|qt−1=si)=aij,其中，1≤i,j≤N

则该随机过程称为 马尔科夫模型。其中，状态转移概率 aij 满足以下条件：

aij≥0∑j=1Naij=1

显然，有 N 个状态的一阶马尔科夫过程有 N2 次状态转移，状态转移概率可以表示为一个状态转移矩阵。

    马尔科夫模型可以视为随机的有限状态机。