Markov Chain 马尔可夫链

Markov Chain是一种具有马尔可夫性质的随机过程。

马尔可夫性质是统计学中的一个概念，在一个具有马尔可夫性质的过程中，未来的状态只会被当前的状态影响，而不会被过去的历史状态影响，也就是说，在已知的当前状态下，历史和未来是相互独立的。

在散离时间下，马尔可夫链可被定义为

举个例子，上图的(a) 就是一个包含有HOT, WARM, COLD 三种状态的马尔科夫链，(b) 包含的状态是一些词语is, white, snow。状态之间的连接是按照转移概率来定的，比如(a)中HOT转到COLD的概率就是a12。

一个马尔科夫链包含有以下几个部分：

1. 状态

N 个状态

2. 转移概率矩阵

一个N x M 的概率矩阵

3. 开始和结束状态

4. 马尔科夫假设，任何一个状态的概率只会被它前一个状态所影响:

在现实中，马尔可夫链通过模拟的方式预测现实中的过程，包括汇率的走势，某物种的总数走势，以及Google 的PageRank算法也是基于马尔可夫链。