【机器学习 基本概念】马尔可夫链

本文转载自：百度百科：马尔可夫链

马尔可夫链

  编辑

本词条由“科普中国”百科科学词条编写与应用工作项目 审核 。

马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的。[1] 

在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。

中文名

马尔可夫链

外文名

(discrete-time) Markov chain

创始人

安德烈·马尔可夫

学    科

数学

性    质

描述了一种状态序列

时    间

1906年

目录

1. 1 原理简介
2. 2 理论发展
3. 3 过程
4. 4 详细说明

1. 5 基本性质
2. ▪ 正定性
3. ▪ 有限性
4. 6 现实应用

1. ▪ 蒙特卡洛模型
2. ▪ 状态统计建模
3. ▪ 应用示例

原理简介

编辑

马尔可夫链是满足马尔可夫性质的随机过程。

 

马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的 集合，被称为“ 状态空间”，而

   

的值则是在时间n的状态。如果

   

对于过去状态的条件 概率分布仅是

   

的一个函数，则

这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

理论发展

编辑

马尔可夫在1906年首先做出了这类过程。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

过程

编辑

马尔可夫过程的定义：

⑴设

   

是一个随机过程，如果在

   

在

   

时刻所处的状态为已知时，

   

以后的状态与它在时刻

   

之前所处的状态无关，则称具有马尔可夫性。

 

⑵设

   

的 状态空间为

   

，如果对于任意的

   

，任意的

   

，在条件

   

下，

   

的条件概率 分布函数恰好等于其在条件

   

下的条件概率分布函数，即

则称

   

为 马尔可夫过程。

马尔可夫过程，能为给定样品文本，生成粗略的，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。除此之外，马尔可夫链还被用于谱曲。

详细说明

编辑

马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

马尔可夫链是满足下面两个假设的一种随机过程：

1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；

2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S,P,Q)，其中各元的含义如下：

1)S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集（即有限或可列）。用小写字母i,j（或Si,Sj)等来表示状态。

2)P是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i,在下一时刻t+l处于状态j的概率,N是系统所有可能的状态的个数。对于任意i∈s,有。

3)Q是系统的初始概率分布,qi是系统在初始时刻处于状态i的概率。

基本性质

编辑

马尔可夫链是由一个条件分布来表示：

 

这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质，同样地，这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。

正定性

状态转移矩阵中的每一个元素被称为状态转移概率，由概率论知识可知，每个状态转移概率皆为正数，用公式即可表示为：

有限性

由概率论知识知，状态转移阵中的每一行状态转移阵中每行相加皆为1，用公式可表示为:

现实应用

编辑

蒙特卡洛模型

在现实生活中，鉴于未知参数的后验分布多为高维、复杂的非常见分布，对这些高维积分进行计算十分困难，这一困难使得贝叶斯推断方法在实践中的应用受到很大的限制，在很长一段时间，贝叶斯推断主要用于处理简单低维的问题，以避免计算上的困难。MCMC（Markov Chain MonteCarlo）方法突破了这一原本极为困难的计算问题，它通过模拟的方式对高维积分进行计算，进而使原本异常复杂的高维积分计算问题迎刃而解，使贝叶斯方法仅适用于解决简单低维问题的状况大有改观，为贝叶斯方法的应用开辟了新的道路。 [2]  MCMC——— 马尔科夫链蒙特卡罗方法产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的 MonteCarlo方法，该方法将Markov过程引入到MonteCarlo模拟中，实现随着抽样分布随机模拟的进行而改变的动态模拟，弥补了传统的蒙特卡罗积分只能静态模拟的缺陷，是近年来广泛应用的统计计算方法。

状态统计建模

马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。[3]  马尔可夫链最近的应用是在地理统计学(geostatistics)中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学(Kriging geostatistics)，被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。除此之外，马尔科夫链预测法是一种适用于随机过程的科学、有效的动态预测方法。[4]  其基本原理和方法可用来预测企业产品的市场占有率。

应用示例

马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。[5]  它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。

具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为：

Ni(t)：t时间内I类人员数量；

Pji：人员从j类向I类转移的转移率；

Vi(t)：在时间(t-1,t)I内所补充的人员数。

企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90%的商店经理仍在商店内,10%的商店经理离职，期初36位经理助理有 11%晋升到经理,83%留在原来的职务,6%离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人(12×90%），另外，经理助理中有4人(36×11%）晋升到经理职位，最后经理的总数是15人(11+4)。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。

假设的零售公司的马尔可夫分析，见下表：

参考资料

• 1.  施仁杰 ．马尔科夫链基础及其应用 ：西安电子科技大学出版社，1992
• 2.  朱新玲. 马尔科夫链蒙特卡罗方法研究综述[J]. 统计与决策, 2009(21):151-153.
• 3.  郭昊坤, 陆娴. 浅谈马尔科夫链在状态统计时的处理技巧[J]. 数学学习与研究, 2011(3):90-90.
• 4.  唐小我, 曾勇, 曹长修. 市场预测中马尔科夫链转移概率的估计[J]. 电子科技大学学报, 1994(6):643-648.
• 5.  查秀芳. 马尔科夫链在市场预测中的作用[J]. 江苏大学学报(社会科学版), 2003, 5(1):110-113.