李航老师《统计学习方法》第二版第十九章马尔可夫链蒙特卡洛方法课后题答案

其他章节答案请参考我的汇总统计学习方法答案汇总，都是自己写的。

1、使用蒙特卡洛积分法求$${\int }_{-\infty }^{\infty }{x}^{2}exp(-\frac{x^2}{2})dx$$.

解：
使用代码求解。
有被积函数的形式可以看到，可以将该积分转化为期望的计算
$$\begin{gathered} {\int }_{-\infty }^{\infty }{x}^{2}exp(-\frac{x^2}{2})dx \\ =\sqrt{2\pi }{\int }_{-\infty }^{\infty }{x}^2\frac{1}{\sqrt{2\pi }}exp(-\frac{x^2}{2})dx \\ =\sqrt{2\pi }E[x^2] \end{gathered}$$
因而根据上述公式，对标准的正太分布进行采样，得到足够多的数据点，利用大数定律，当采样的数据足够的多的时候，计算出来的均值和该积分真正的值很近似。

import math
import numpy as np
def Solution(k):
    '''
    Parameters
    ----------
    k : int
        采样的个数.
    Returns
    -------
    积分值.
    '''
    data = np.random.normal(loc = 0, scale = 1, size = k)
    data = data * data
    data = np.mean(data)
    return np.sqrt(2 * math.pi) * data
    
    
if __name__ == '__main__':
    k = 1000
    result = Solution(k)
    print('积分值是：', result)

2、证明如果马尔可夫链是不可约，且有一个状态是非周期的，则其他的状态也是非周期的，即这个马尔可夫链是非周期的。

证明：
先说一下大致的思想：马尔可夫链是不可约的，说明所有的状态都是互通的，也就是说明所有的状态是处于一个等价类的，等价类中的状态具有相同的性质，因而只要有一个状态是非周期的，那么其他的周期也都是非周期的。
这学期刚好修了随机过程，主要介绍马尔可夫链，下面给出详细的证明。
下面证明的主要目标是不可约的状态具有相同的周期。
假设状态 $i$ 的周期是 $d$,状态 $j$的周期是 $r$.
由于上面的这两个状态是互通的。
所以存在两个正整数 $n_1，n_2$使得下式成立：
$$\begin{gathered} P(X_{n_1}=i|X_0=j)>0 \\ P(X_{n_2}=j|X_0=i)>0 \end{gathered}$$
因为状态 $j$ 的周期是 $r$, 所以存在 $k_0>0$， 当 $k>k_0$,有
$$P(X_{kr}=j|X_0=j)>0$$
故下式成立
$$\begin{gathered} P(X_{n_1+n_2+kr}=i|X_0=i)\ge \\ P(X_{n_2}=j|X_0=i)P(X_{kr}=j|X_0=j)P(X_{n_1}=i|X_0=j) \\ >0 \end{gathered}$$
说明$$d|n_1+n_2+kr$$
同样有：
$$d|n_1+n_2+(k+1)r$$
两式相减，可得$d|r$
同理可得，$r|d$.所以两个整数相互整除，可以得到$$d==r$$
所以，如果其中一个状态非周期，其他的状态都是非周期的。

3、验证具有以下转移概率矩阵的马尔可夫链是可约的，但是非周期的。

证明：
我们矩阵的每一列看作是一个状态，矩阵的每一列元素之和为1，也就是从该列表示的状态到其他状态的概率之和是1.0表示无法从该状态转移到其他的状态。
由矩阵元素的第四列可以看到，只有第四列的最后一个元素是1，其他的三个元素都是0，说明由状态4无法转移到其他的状态，而其他的三个状态都可以转移到状态4。因而该马尔可夫链是可约的。

对于非周期性，还是看第四列的元素，由于状态4转移到状态4的概率是1，因而0时刻从状态4出发转移到状态4的所有时刻的最小公倍数一定是1，因而根据定义是非周期的。

4、验证具有以下转移概率矩阵的马尔可夫链是不可约的，但是周期的。

证明：
还是将每一列看作是一个状态。要验证是不可约的，只要验证从任何一个状态可以以一个大于0的概率转移到其他的状态即可啦。
设$P_{mn}$是矩阵$P$第m行n列的元素。下面只是简要的说一下如何从当前的状态转移到别的状态，且转移的概率是正的。
比如从状态1转移到状态2，由于$P_{12}=1>0$,因而状态1可以到达状态2，下面说状态2如何达到状态4，因为$P_{32}=1/2>0$,说明状态2可以以一个正的概率到达状态3，又因为$P_{34}=1/2>0$,因而状态3可以到达状态4，综上。状态2可以到达状态状态4，其他的类似，自己试试吧。

关于周期性的证明：根据上面的状态转移的方法，然后结合上面的状态转移方法可以看到，状态1转移到状态1需要的时间的步数只能是2的倍数，因此状态1是周期的，又因为该马尔可夫链不可约，因为结合第二题，所以该马尔可夫链的所有的状态具有相同的周期。得证。。

其他的题目以后有机会再做吧，有点麻烦！