马尔可夫链基本定义
基本定义
(马尔可夫链)考虑一个随机变量的序列 X = { X o , X 1 , . . . , X t , . . . } X = {\{X_o,X_1,... ,X_t,...\}} X={Xo,X1,...,Xt,...}这里 X t X_t Xt表示时刻t的随机变量，t=0,1,2… 每个随机变量 X t ( t = 0 , 12... ) X_t(t=0,12... ) Xt(t=0,12...)的取值集合相同，称为状态空间，表示为S。随机变量可以是离散的，也可以是连续的。以上随机变量的序列构成随机过程( stochastic process)。
假设在时刻0的随机变量 X 0 X_0 X0遵循概率分布 P ( X o ) = T o P(X_o)= T_o P(Xo)=To, 称为初始状态分布。在某个时刻t≥1的随机变量 X t X_t Xt，与前一个时刻的随机变量 X t − 1 X_{t-1} Xt−1之间有条件分布 P ( X t ∣ X t − 1 ) P(X_t | X_{t-1}) P(Xt∣Xt−1), 如果 X t X_t Xt，只依赖于 X t − 1 X_{t-1} Xt−1而不依赖子过去的随机变量 X = { X o , X 1 , . . . , X t , . . . } X = {\{X_o,X_1,... ,X_t,...\}} X={Xo,X1,...,Xt,...},这一性质称为马尔可夫性，即
P ( X t ∣ X 0 , X 1 , . . . , X t − 1 ) = P ( X t ∣ X t − 1 ) , t = 1 , 2 , . . . P(X_t | X_0,X_1,...,X_{t-1})= P(X_t|X_{t-1}), t=1,2,... P(Xt∣X0,X1,...,Xt−1)=P(Xt∣Xt−1),t=1,2,...
具有马尔可夫性的随机序列 X = { X o , X 1 , . . . , X t , . . . } X = {\{X_o,X_1,... ,X_t,...\}} X={Xo,X1,...,Xt,...}称为马尔可夫链(Markovchain),或马尔可夫过程( Markov process). 条件概率分布 P ( X t ∣ X t − 1 ) P(X_t | X_{t-1}) P(Xt∣Xt−1)称为马尔可夫链的转移概率分布。转移概率分布决定了马尔可夫链的特性。
马尔可夫性的直观解释是“未来只依赖于现在(假设现在已知)，而与过去无关”。这个假设在许多应用中是合理的。
若转移概率分布 P ( X t ∣ X t − 1 ) P(X_t | X_{t-1}) P(Xt∣Xt−1)与t无关，即
P ( X t + s ∣ X t − 1 + s ) = P ( X t ∣ X t − 1 ) , t = 1 , 2 , . . . ; s = 1 , 2 , . . . P(X_{t+s}|X_{t-1+s})=P(X_t|X_{t-1}), t=1,2,...; s=1,2,... P(Xt+s∣Xt−1+s)=P(Xt∣Xt−1),t=1,2,...;s=1,2,...
则称该马尔可夫链为时间齐次的马尔可夫链(timehomogenousMarkovchain)。本文中提到的马尔可夫链都是时间齐次的。
以上定义的是一阶马尔可夫链，可以扩展到n阶马尔可夫链，满足n阶马尔可夫性
P ( X t ∣ X o X 1 . . . X t − 2 X t − 1 ) = P ( X t ∣ X t − n . . . X t − 2 X t − 1 ) P(X_t|X_oX_1...X_{t- 2}X_{t-1})= P(X_t|X_{t- n}...X_{t-2}X_{t-1}) P(Xt∣XoX1...Xt−2Xt−1)=P(Xt∣Xt−n...Xt−2Xt−1)
本文主要考虑一阶马尔可夫链。容易验证n阶马尔可夫链可以转换为一阶马尔可夫链。
举例：
取一个随机序列 X = { 1 , 3 , 2 , 3 , 2 , 3 , 3 , 1 , 2 , 3 , 1 , 3 , . . . } X={\{1,3,2,3,2,3,3,1,2,3,1,3,...\}} X={1,3,2,3,2,3,3,1,2,3,1,3,...}
由于序列中只出现了1，2，3三个数字，所以状态空间为 S = 1 , 2 , 3 S={1,2,3} S=1,2,3
假设马尔可夫链如下
则它的转移概率 P ( X t ∣ X t − 1 ) P(X_t | X_{t-1}) P(Xt∣Xt−1)表示如下
注：以上举例是为了更好的理解 序列、状态空间、马尔可夫链、转移概率 等概念的涵义，没有实际计算意义。