import numpy as np
#马尔科夫链
#假设转移矩阵为
'''
前一天A 前一天为B
当天A 0.4 0.5
当天B 0.6 0.5
'''
Transition_matrix = np.array([[0.4, 0.5], [0.6, 0.5]])
#状态概率分布推演与稳态分布
#假设当天选择A，则当天的状态概率分布为 [1,0]
state_distribution = np.array([1, 0])
#则得到第二天的状态概率分布为
state_distribution2 = np.dot(Transition_matrix, state_distribution)
print("state_distribution2",state_distribution2)
'''
则当前的问题转换为，已知转移矩阵，第二天的状态概率分布，求第三天的状态概率分布
'''
state_distribution3 = np.dot(Transition_matrix, state_distribution2)
print("state_distribution3",state_distribution3)
#推演稳态分布
state_distribution_next = state_distribution3
n = 20 #可以调整推演的天数
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("第n次",i+1,"的状态概率分布",state_distribution_next)
'''
结果如下:
第n次 1 的状态概率分布 [0.454 0.546]
第n次 2 的状态概率分布 [0.4546 0.5454]
第n次 3 的状态概率分布 [0.45454 0.54546]
第n次 4 的状态概率分布 [0.454546 0.545454]
第n次 5 的状态概率分布 [0.4545454 0.5454546]
第n次 6 的状态概率分布 [0.45454546 0.54545454]
第n次 7 的状态概率分布 [0.45454545 0.54545455]
第n次 8 的状态概率分布 [0.45454545 0.54545455]
第n次 9 的状态概率分布 [0.45454545 0.54545455]
第n次 10 的状态概率分布 [0.45454545 0.54545455]
第n次 11 的状态概率分布 [0.45454545 0.54545455]
第n次 12 的状态概率分布 [0.45454545 0.54545455]
第n次 13 的状态概率分布 [0.45454545 0.54545455]
第n次 14 的状态概率分布 [0.45454545 0.54545455]
第n次 15 的状态概率分布 [0.45454545 0.54545455]
第n次 16 的状态概率分布 [0.45454545 0.54545455]
第n次 17 的状态概率分布 [0.45454545 0.54545455]
第n次 18 的状态概率分布 [0.45454545 0.54545455]
第n次 19 的状态概率分布 [0.45454545 0.54545455]
第n次 20 的状态概率分布 [0.45454545 0.54545455]
可以看出当到第7次时，状态概率分布已经接近稳定了
达到稳态分布,steady state distribution
'''
'''
假如小明第一天的选择为B,则当天的状态概率分布为 [0,1]，继续进行推演
'''
state_distribution_next = np.array([1, 0])
n = 20 #可以调整推演的天数
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("第n次",i+1,"的状态概率分布",state_distribution_next)
'''
结果为:
第n次 1 的状态概率分布 [0.4 0.6]
第n次 2 的状态概率分布 [0.46 0.54]
第n次 3 的状态概率分布 [0.454 0.546]
第n次 4 的状态概率分布 [0.4546 0.5454]
第n次 5 的状态概率分布 [0.45454 0.54546]
第n次 6 的状态概率分布 [0.454546 0.545454]
第n次 7 的状态概率分布 [0.4545454 0.5454546]
第n次 8 的状态概率分布 [0.45454546 0.54545454]
第n次 9 的状态概率分布 [0.45454545 0.54545455]
第n次 10 的状态概率分布 [0.45454545 0.54545455]
第n次 11 的状态概率分布 [0.45454545 0.54545455]
第n次 12 的状态概率分布 [0.45454545 0.54545455]
第n次 13 的状态概率分布 [0.45454545 0.54545455]
第n次 14 的状态概率分布 [0.45454545 0.54545455]
第n次 15 的状态概率分布 [0.45454545 0.54545455]
第n次 16 的状态概率分布 [0.45454545 0.54545455]
第n次 17 的状态概率分布 [0.45454545 0.54545455]
第n次 18 的状态概率分布 [0.45454545 0.54545455]
第n次 19 的状态概率分布 [0.45454545 0.54545455]
第n次 20 的状态概率分布 [0.45454545 0.54545455]
可以看出当到第9次时，状态概率分布接近稳定，两个稳态分布是相同的
'''
'''
将第一天状态概率分布假定为和为1的两个任意值，重新推演 即选择 [x,y]满足如下条件 x+y=1 x>=0 y >=0
'''
state_distribution_next = np.array([0.33, 0.67])
n = 20 #可以调整推演的天数
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("第n次",i+1,"的状态概率分布",state_distribution_next)
'''
第n次 1 的状态概率分布 [0.467 0.533]
第n次 2 的状态概率分布 [0.4533 0.5467]
第n次 3 的状态概率分布 [0.45467 0.54533]
第n次 4 的状态概率分布 [0.454533 0.545467]
第n次 5 的状态概率分布 [0.4545467 0.5454533]
第n次 6 的状态概率分布 [0.45454533 0.54545467]
第n次 7 的状态概率分布 [0.45454547 0.54545453]
第n次 8 的状态概率分布 [0.45454545 0.54545455]
第n次 9 的状态概率分布 [0.45454545 0.54545455]
第n次 10 的状态概率分布 [0.45454545 0.54545455]
第n次 11 的状态概率分布 [0.45454545 0.54545455]
第n次 12 的状态概率分布 [0.45454545 0.54545455]
第n次 13 的状态概率分布 [0.45454545 0.54545455]
第n次 14 的状态概率分布 [0.45454545 0.54545455]
第n次 15 的状态概率分布 [0.45454545 0.54545455]
第n次 16 的状态概率分布 [0.45454545 0.54545455]
第n次 17 的状态概率分布 [0.45454545 0.54545455]
第n次 18 的状态概率分布 [0.45454545 0.54545455]
第n次 19 的状态概率分布 [0.45454545 0.54545455]
第n次 20 的状态概率分布 [0.45454545 0.54545455]
最后依然达到相同的稳态分布。这表明，不论初始状态为何，最终都会达到同样的稳态分布
'''
'''
独立性并非均值收敛的必要条件，非独立的随机过程也能收敛至稳态。
'''
'''
推演较复杂的随机过程
假设转移矩阵如下
StateA StateB StateC
StateA 0.2 0.1 0.5
StateB 0.5 0.7 0.4
StateC 0.3 0.2 0.1
随机假定两个三个初始状态
state_distribution1 [0.2 0.7 0.1]
state_distribution2 [0.3 0.6 0.1]
state_distribution3 [0.5 0.2 0.3]
设定推演次数为100次 n=100
'''
Transition_matrix = np.array([[0.2, 0.1,0.5], [0.5, 0.7,0.4],[0.3, 0.2,0.1]])
print("Transition_matrix",Transition_matrix)
state_distribution1 = np.array([0.2,0.7,0.1])
state_distribution2 = np.array([0.3,0.6,0.1])
state_distribution3 = np.array([0.5,0.2,0.3])
state_distribution_next = state_distribution1
n = 20 #可以调整推演的天数
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("状态1","第n次",i+1,"的状态概率分布",state_distribution_next)
state_distribution_next = state_distribution2
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("状态2","第n次",i+1,"的状态概率分布",state_distribution_next)
state_distribution_next = state_distribution3
for i in range(n):
state_distribution_next = np.dot(Transition_matrix, state_distribution_next)
print("状态3","第n次",i+1,"的状态概率分布",state_distribution_next)
'''
状态1 第n次 1 的状态概率分布 [0.16 0.63 0.21]
状态1 第n次 2 的状态概率分布 [0.2 0.605 0.195]
状态1 第n次 3 的状态概率分布 [0.198 0.6015 0.2005]
状态1 第n次 4 的状态概率分布 [0.2 0.60025 0.19975]
状态1 第n次 5 的状态概率分布 [0.1999 0.600075 0.200025]
状态1 第n次 6 的状态概率分布 [0.2 0.6000125 0.1999875]
状态1 第n次 7 的状态概率分布 [0.199995 0.60000375 0.20000125]
状态1 第n次 8 的状态概率分布 [0.2 0.60000062 0.19999937]
状态1 第n次 9 的状态概率分布 [0.19999975 0.60000019 0.20000006]
状态1 第n次 10 的状态概率分布 [0.2 0.60000003 0.19999997]
状态1 第n次 11 的状态概率分布 [0.19999999 0.60000001 0.2 ]
状态1 第n次 12 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 13 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 14 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 15 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 16 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 17 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 18 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 19 的状态概率分布 [0.2 0.6 0.2]
状态1 第n次 20 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 1 的状态概率分布 [0.17 0.61 0.22]
状态2 第n次 2 的状态概率分布 [0.205 0.6 0.195]
状态2 第n次 3 的状态概率分布 [0.1985 0.6005 0.201 ]
状态2 第n次 4 的状态概率分布 [0.20025 0.6 0.19975]
状态2 第n次 5 的状态概率分布 [0.199925 0.600025 0.20005 ]
状态2 第n次 6 的状态概率分布 [0.2000125 0.6 0.1999875]
状态2 第n次 7 的状态概率分布 [0.19999625 0.60000125 0.2000025 ]
状态2 第n次 8 的状态概率分布 [0.20000063 0.6 0.19999938]
状态2 第n次 9 的状态概率分布 [0.19999981 0.60000006 0.20000013]
状态2 第n次 10 的状态概率分布 [0.20000003 0.6 0.19999997]
状态2 第n次 11 的状态概率分布 [0.19999999 0.6 0.20000001]
状态2 第n次 12 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 13 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 14 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 15 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 16 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 17 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 18 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 19 的状态概率分布 [0.2 0.6 0.2]
状态2 第n次 20 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 1 的状态概率分布 [0.27 0.51 0.22]
状态3 第n次 2 的状态概率分布 [0.215 0.58 0.205]
状态3 第n次 3 的状态概率分布 [0.2035 0.5955 0.201 ]
状态3 第n次 4 的状态概率分布 [0.20075 0.599 0.20025]
状态3 第n次 5 的状态概率分布 [0.200175 0.599775 0.20005 ]
状态3 第n次 6 的状态概率分布 [0.2000375 0.59995 0.2000125]
状态3 第n次 7 的状态概率分布 [0.20000875 0.59998875 0.2000025 ]
状态3 第n次 8 的状态概率分布 [0.20000187 0.5999975 0.20000062]
状态3 第n次 9 的状态概率分布 [0.20000044 0.59999944 0.20000012]
状态3 第n次 10 的状态概率分布 [0.20000009 0.59999987 0.20000003]
状态3 第n次 11 的状态概率分布 [0.20000002 0.59999997 0.20000001]
状态3 第n次 12 的状态概率分布 [0.2 0.59999999 0.2 ]
状态3 第n次 13 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 14 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 15 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 16 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 17 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 18 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 19 的状态概率分布 [0.2 0.6 0.2]
状态3 第n次 20 的状态概率分布 [0.2 0.6 0.2]
'''
可以看出当到达最后时三种状态全部达到同一个稳态。即[0.2 0.6 0.2]