GitModel-动手学数理统计_02（python）

1 动手学数理统计_02

github 上pdf版本及ipynb版本：https://github.com/cx-333/Math-Modeling

1.6 参数估计之点估计的方法：极大似然估计

• 最大似然估计法：

  对于离散型随机变量:设其分布律为$P\{X=s\}=p(x;\theta ),\theta \in \Theta$的形式已知，$\theta$为待估计参数，$\Theta 是\theta$可能取值的范围。设$X_1,X_2,\cdots ,X_n$是来自$X$的样本，则$X_1,X_2,\cdots ,X_n$的联合分布律为
$$\prod {i=1}^{n}p(x_i;\theta ).$$
又设$x_1,x_2,\cdots ,x_n$是相应样本$X_1,X_2,\cdots ,X_n$的样本值。易知样本$X_1,X_2,\cdots ,X_n$取到观察值$x_1,x_2,\cdots ,x_n$的概率，即事件$\{X_1=x_1,X_2=x_2,\cdots ,X_n=x_n\}$发生的概率为
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod {i=1}^{n}p(x_i;\theta ),\theta \in \Theta .$$
这一概率随$\theta$的取值而变化，它是$\theta$的函数，$L(\theta )$称为样本的似然函数（注意，这里$x_1,x_2,\cdots ,x_n$是已知的样本值，即常数）。

最大似然估计思想：固定样本观察值$x_1,x_2,\cdots ,x_n$，在$\theta$取值的可能范围$\Theta$内挑选使似然函数$L(x_1,x_2,\cdots ,x_n;\theta )$达到最大的参数$\hat{\theta }$，作为参数$\theta$的估计值。即取$\hat{\theta }$使
$$L(x_1,x_2,\cdots ,x_n;\hat{\theta })=\underset{\theta \in \Theta }{\max }L(x_1,x_2,\cdots ,x_n;\theta )$$
这样得到的$\hat{\theta }$与样本值$x_1,x_2,\cdots ,x_n$有关，记为$\hat{\theta }(x_1,x_2,\cdots ,x_n)$，称为参数$\theta$的最大似然估计值，相应的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$称为参数$\theta$的最大似然估计量。

  对于连续型随机变量：似然函数
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod {i=1}^{n}f(x_i;\theta )$$
$f(x_i;\theta )$为连续随机变量的概率密度函数。

最大似然函数方法的求解步骤

• 1. 确定随机变量的分布律（概率密度）
• 2. 确定似然函数
• 3. 令 $\frac{d}{d\theta }L(\theta )=0$，求驻点，便可以找到使$L(\theta )$取极值的估计参数$\hat{\theta }$
• 4. 对于$L(\theta )$函数中存在大量连乘项或指数项时，可令$\frac{d}{d\theta }lnL(\theta )=0$，也可以求得$\hat{\theta }$，因为$ln\cdot$函数是单调递增函数，对似然函数做$ln\cdot$变换不会改变原函数的特征。

例子一：设$X\sim b(1,p)（二项分布）.X_1,X_2,\cdots ,X_n$是来自$X$的一个样本，求参数$p$的最大似然估计。

解：

1. 确定随机变量的分布律（概率密度）
   $$P\{X=x\}=p^x(1-p{)}^{1-x},x=0,1$$
2. 确定似然函数
   $$L(p)=\prod _{i=1}^{n}P\{X=x_i\}=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}=p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{{\sum }_{i=1}^n(1-x_i)}$$
   出现连乘，取对数
   $$lnL(p)=ln[p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{{\sum }_{i=1}^n(1-x_i)}]=ln[p^{{\sum }_{i=1}^n{x}_i}]+ln[(1-p{)}^{{\sum }_{i=1}^n(1-x_i)}]=\sum _{i=1}^n{x}_{i}lnp+\sum _{i=1}^n(1-x_i)ln(1-p)$$
3. 令$\frac{d}{dp}lnL(p)=0$， 解得
   $$\hat{p}=\frac{1}{n}\sum _{i=1}n{x}_i=\overline{x}$$

python代码（求解上题）

from sympy import *
from sympy.abc import p
from scipy.stats import bernoulli

p_real = 0.4

x = bernoulli.rvs(p_real, size=1000)

Lp = p ** sum(x) * (1-p)**sum(1-x)

dLp = diff(Lp, p, 1)
p_estimate = solve(dLp)
# 寻找符合要求的p值
for i in p_estimate:
    if i > 0 and i < 1:
        p_e = i
print("p的真实值：{}".format(p_real))
print("p的最大似然估计值：{}".format(p_e))

p的真实值：0.4
p的最大似然估计值：211/500

例子二：设$X\sim N(\mu ,{\sigma }^2),\mu ,{\sigma }^2$为未知参数，$x_1,x_2,\cdots ,x_n$是来自$X$的一个样本值，求$\mu ,{\sigma }^2$的最大似然估计量。

解：

1. 确定随机变量的概率密度函数
   $$f(x;\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
2. 确定似然函数
   $$L(\mu ,\sigma )=\prod _{i=1}^{n}f(x_i;\mu ,{\sigma }^2)=\prod _{i=1}^n(\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}})=(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-{\sum }_{i=1}^n\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}$$
   出现指数求和项，整理成对数似然函数
   $$lnL(\mu ,\sigma )=ln[(\frac{1}{\sqrt{2\pi }\sigma }{)}^n{e}^{-{\sum }_{i=1}^n\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}]=-nln\sqrt{2\pi }\sigma -\sum _{i=1}^n\frac{(x_i-\mu {)}^2}{2{\sigma }^2}$$
3. 令$\frac{\partial }{\partial \mu }lnL(\mu ,\sigma )=0,\frac{\partial }{\partial \sigma }lnL(\mu ,\sigma )=0$，建立似然方程组
   $$\{\begin{array}{rl}& \frac{\partial }{\partial \mu }lnL(\mu ,\sigma )=-2\sum _{i=1}^n\frac{(x_i-\mu )}{2{\sigma }^2}=0\\ & \frac{\partial }{\partial \sigma }lnL(\mu ,\sigma )=-\frac{n}{\sigma }+\sum _{i=1}^n\frac{(x_i-\mu {)}^2}{{\sigma }^3}=0\end{array}$$
4. 解得
   $$\{\begin{array}{rl}& \mu =\frac{1}{n}\sum _{i=1}^n{x}_i\\ & {\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2\end{array}$$

python代码(验证上题结果)

from sympy import *
from sympy.abc import mu, sigma 
from scipy.stats import norm

mu_real = 2
sigma_real = 3
n = 1000

x = norm.rvs(loc=mu_real, scale=sigma_real, size=n)

mu_estimate = sum(x) / n 
sigma2_estimate = sum((x - mu_estimate)**2) / n

print("随机变量的原均值为：{}， 方差为：{}".format(mu_real, sigma_real**2))
print("最大似然估计的均值为：{:.2f}， 方差为：{:.2f}".format(mu_estimate,sigma2_estimate))

随机变量的原均值为：2， 方差为：9
最大似然估计的均值为：2.20， 方差为：8.69

最大似然估计性质：设$\theta$的函数$u=u(\theta ),\theta \in \Theta$具有单值反函数$\theta =\theta (u),u\in \vartheta$.又假设$\hat{\theta }$是$X$的概率分布中参数$\theta$的最大似然估计，则$\hat{u}=\hat{u}(\theta )$是$u(\theta )$的最大似然估计，这一性质称为最大似然估计的不变性。

1.7 估计量的评选标准：无偏性、有效性、相合性（一致性）

设$X_1,X_2,\cdots ,X_n$是总体$X$的一个样本，$\theta \in \Theta$是包含在总体$X$的分布中的待估计参数，$\Theta 是\theta$的取值范围。

• 无偏性：若估计量$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$的数学期望$E(\hat{\theta })$存在，且对于任意的$\theta \in \Theta$有
  $$E(\hat{\theta })=\theta$$
  则称$\hat{\theta }$为$\theta$的无偏估计量。即估计值的期望等于待估计参数的真实值。

估计量的无偏性是说，对于总体的样本值，由某个估计量得到的估计值与真值存在偏差，但反复将这估计量使用多次得到多个估计值，这多个估计值的期望（平均）与真值之间的偏差$E(\hat{\theta })-\theta$为零。在科学技术中$E(\hat{\theta })-\theta$称为以$E(\hat{\theta })$作为$\theta$的估计的系统误差。无偏估计的实际意义就是无系统误差。

• 有效性：假设要比较参数$\theta$的两个无偏估计量$\widehat{{\theta }_1}和\widehat{{\theta }_2}$，如果在样本容量$n$相同的情况下，$\widehat{{\theta }_1}$的观察值较$\widehat{{\theta }_2}$更密集在真值$\theta$的附近，则认为$\widehat{{\theta }_1}比\widehat{{\theta }_2}$更为理想。又由于方差是随机变量取值与其数学期望（此时数学期望$E(\widehat{{\theta }_1})=E(\widehat{{\theta }_2})=\theta$）的偏离程度的度量。所以无偏估计以方差小者为好。设$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,\cdots ,X_n)$与$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,\cdots ,X_n)$都是$\theta$的无偏估计量，若对于任意$\theta \in \Theta$，有
  $$D(\widehat{{\theta }_1})\le D(\widehat{{\theta }_2})$$
  且至少对于某一个$\theta \in \Theta$上式中的不等号成立，则称$\widehat{{\theta }_1}$较$\widehat{{\theta }_2}$有效。

• 相合性（一致性）：设$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$为参数$\theta$的估计量，若对于任意$\theta \in \Theta$，当$n\to \infty$时$\hat{\theta }=\hat{\theta }(X_1,X_2,\cdots ,X_n)$依概率收敛于$\theta$，则称$\hat{\theta }$为$\theta$的相合估计量。即对于任意$\epsilon >0$，有
  $$\underset{n\to \infty }{\lim }P\{|\hat{\theta }-\theta |<\epsilon \}=1$$

1.8 参数估计之区间估计

• 背景：对于一个未知量或未知参数的估计，常不以得到近似值为满足，还需估计误差，即要求知道近似值的精确程度（也就是所求真值的所在范围）。类似地，对于未知参数$\theta$，除了求出它的点估计$\hat{\theta }$外，还希望估计出一个范围，并希望知道这个范围包含参数$\theta$真值的可信程度。这样的范围通常以区间的形式给出，同时还给出此区间包含参数$\theta$真值的可信程度，这种形式的估计称为区间估计。这样的区间即所谓置信区间。

• 置信区间：设总体$X$的分布函数$F(x;\theta )$含有一个未知参数$\theta ,\theta \in \Theta （\Theta 是\theta 可能取值的范围）$，对于给定值$\alpha （0<\alpha <1）$，若来自$X$的样本$X_1,X_2,\cdots ,X_n$确定的两个统计量$\underline{\theta }=\underline{\theta }(X_1,X_2,\cdots ,X_n)和\overline{\theta }=\overline{\theta }(X_1,X_2,\cdots ,X_n),(\underline{(}\theta )<\overline{\theta })$，对于任意$\theta \in \Theta$满足
  $$P\{\underline{\theta }(X_1,X_2,\cdots ,X_n)<\theta <\overline{\theta }(X_1,X_2,\cdots ,X_n)\}\ge 1-\alpha$$
  则称随机区间$(\underline{\theta },\overline{\theta })$是$\theta$置信水平为$1-\alpha$的置信区间，$\underline{\theta }和\overline{\theta }$分别称为置信水平为$1-\alpha$的双侧置信区间的置信下限和置信上限，$1-\alpha$称为置信水平。

  上式的含义为：对总体进行多次重复抽样（每次抽样的样本容量相同，均为$n$）,每一次抽样都确定待估计参数的一个区间$(\underline{\theta },\overline{\theta })$，每个这样的区间有两种可能，即要么包含待估计的真值$\theta$，要么不包含待估计的真值$\theta$。根据大数定理，包含真值$\theta$的区间数量约占$100(1-\alpha )\%$，不包含真值$\theta$的区间数量约占$100\alpha \%$。例如，若$\alpha =0.01$，反复抽样$1000$次，则得到的$1000$个区间中不包含$\theta$真值的约为$10$个。

例子：设总体$X\sim N(\mu ,{\sigma }^2)$，${\sigma }^2$为已知，$\mu$为未知，设$X_1,X_2,\cdots ,X_n$是来自$X$的样本，求$\mu$的置信水平为$1-\alpha$的置信区间。

解：

由于$\overline{X}是X$的无偏估计，且
$$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}$所服从的分布$N(0,1)$不依赖于任何未知参数，按标准正态分布的上$\alpha$分位点定义，有
$$P\left\{\left|\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\right|<z_{\alpha /2}\right\}=1-\alpha$$
即
$$P\left\{\overline{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}<\mu <\overline{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2}\right\}=1-\alpha$$
由定义知，$\mu$的一个置信水平为$1-\alpha$的置信区间为：

$$(\overline{X}-\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2},\overline{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha /2})$$
或写为
$$(\overline{X}\pm \frac{\sigma }{\sqrt{n}}{z}_{\alpha /2})$$

python代码（通过例题理解置信区间）

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline 
plt.rcParams['font.sans-serif']=['SimHei','Songti SC','STFangsong']
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
from scipy.stats import norm 

# 令上题中 mu = 0.1 sigma = 1, alpha = 0.05，然后估计 参数 mu 的置信区间

def get_confident_interval(mu, sigma, n, interval_num, alpha):
    confident_intervals = []
    for i in range(interval_num):
        x = norm.rvs(loc=mu, scale=sigma, size=n)
        # 置信区间上限计算 因为alpha/2 的分位点z_alpha/2 是从负无穷到-z_alpha/2 进行积分，因此得到的分位点需要加一个负号
        right = np.sum(x)/n - (sigma/np.sqrt(n))*norm.ppf(loc=mu, scale=sigma, q=alpha/2)
        # 置信区间下限计算
        left = np.sum(x)/n + (sigma/np.sqrt(n))*norm.ppf(loc=mu, scale=sigma, q=alpha/2)
        confident_intervals.append((left, right))
    return confident_intervals

mu, sigma = 0.1, 1
n, alpha = 1000, 0.05
interval_num = 100
confident_intervals = get_confident_interval(mu, sigma, n, interval_num, alpha)
count = 0
plt.figure(figsize=(10, 8))
for idx, temp in enumerate(confident_intervals):
    plt.vlines(x=idx+1, ymin=temp[0], ymax=temp[1])
    plt.scatter(x=np.array([idx+1]*2),y=np.array([temp[0], temp[1]]), c='r')
    if mu >= temp[0] and mu <= temp[1]:
        count += 1


print("在{}个置信区间里，有{}个置信区间包含未知参数mu".format(interval_num, count))
print("包含未知参数mu的置信区间数{}>={}[区间数x(1-alpha)]".format(count, interval_num*(1-alpha)))
plt.axhline(y=0.1, ls='--', c='r')
plt.show()

在100个置信区间里，有95个置信区间包含未知参数mu
包含未知参数mu的置信区间数95>=95.0[区间数x(1-alpha)]

寻求未知参数$\theta$的置信区间的具体步骤：

• 1. 寻求一个枢轴量$W$，枢轴量的分布不依赖于参数$\theta$以及其它未知参数。枢轴量是关于样本$X_1,X_2,\cdots ,X_n$和未知参数$\theta$的函数，即$W=W(X_1,X_2,\cdots ,X_n;\theta )$，其中$X_1,X_2,\cdots ,X_n$为已知。
• 2. 对于给定的置信水平$1-\alpha$，定出两个常数$a,b$，使$$P\left\{a<W(X_1,X_2,\cdots ,X_n;\theta )<b\right\}=1-\alpha$$则$(a,b)$既是未知参数$\theta$的一个置信水平为$1-\alpha$置信区间。

表1.8：正态总体均值、方差的置信区间与单侧置信限（置信水平为$1-\alpha$）

	待估计参数	其他参数	枢轴量的分布	置信区间	单侧置信限
一个正态总体	$\mu$	${\sigma }^2已知$	$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$	$\left(\bar{X}\pm \frac{\sigma }{\sqrt{n}}{z}_{a/2}\right)$	$\bar{\mu }=\bar{X}+\frac{\sigma }{\sqrt{n}}{z}_{\alpha }\underline{\mu }=\bar{X}-\frac{\sigma }{\sqrt{n}}{x}_{\alpha }$
一个正态总体	$\mu$	${\sigma }^2未知$	$t=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$	$\left(\bar{X}\pm \frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right)$	$\bar{\mu }=\bar{X}+\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1)\underline{\mu }=\bar{X}-\frac{S}{\sqrt{n}}{t}_{\alpha }(n-1)$
一个正态总体	${\sigma }^2$	$\mu 未知$	${\chi }^2=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$	$\left(\bar{X}\pm \frac{S}{\sqrt{n}}{t}_{\alpha /2}(n-1)\right)$	$\overline{{\sigma }^2}=\frac{(n-1)S^2}{{\chi }_{1-\alpha }^2(n-1)}\underline{{\sigma }^2}=\frac{(n-1)S^2}{{\chi }_{\alpha }^2(n-1)}$
两个正态总体	${\mu }_1-{\mu }_2$	$\sigma 1^2,\sigma 2^2已知$	$\begin{array}{rl}Z& =\frac{\bar{X}-\bar{Y}-\left({\mu }_1-{\mu }_2\right)}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}\\ & \sim N(0,1)\end{array}$	$\left(\bar{X}-\bar{Y}\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\right)$	$\begin{array}{r}l\overline{{\mu }_1-{\mu }_2}=\bar{X}-\bar{Y}+z_{\alpha }\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\\ \underline{{\mu }_1-{\mu }_2}=\bar{X}=\bar{Y}-z_{\alpha }\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}\end{array}$
两个正态总体	${\mu }_1-{\mu }_2$	$\sigma 1^2=\sigma 2^2={\sigma }^2未知$	$\begin{array}{c}t=\frac{(\bar{X}-\bar{Y})-\left({\mu }_1-{\mu }_2\right)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\\ \sim t\left(n_1+n_2-2\right)\\ S_w^2=\frac{\left(n_1-1\right)S_1^2+\left(n_2-1\right)S_2^2}{n_1+n_2-2}\end{array}$	$(\bar{X}-\bar{Y}\pm t_{\alpha /2}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}})$	$\begin{array}{l}\overline{{\mu }_1-{\mu }_2}=\bar{X}-\bar{Y}\\ +t_{\alpha }\left(n_1+n_2-2\right)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}\\ \underline{{\mu }_1-{\mu }_2}=\bar{X}-\bar{Y}\\ -t_{\alpha }\left(n_1+n_2-2\right)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}\end{array}$
两个正态总体	$\frac{\sigma 1^2}{\sigma 2^2}$	${\mu }_1,{\mu }_2未知$	$\begin{array}{rl}F& =\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\\ & \sim F\left(n_1-1,n_2-1\right)\end{array}$	$\begin{array}{c}(\frac{S_1^2}{S_2^2}\frac{1}{F_{a/2}\left(n_1-1,n_2-1\right)},\\ \frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha /2}\left(n_1-1,n_2-1\right)})\end{array}$	$\begin{array}{rl}& \frac{\overline{{\sigma }_1^2}}{{\sigma }_2^2}=\frac{S_1^2}{S_2^2}\frac{1}{F_{1-\alpha /2}\left(n_1-1,n_2-1\right)}\\ & \frac{{\sigma }_1^2}{\underline{{\sigma }_2^2}}=\frac{S_1^2}{S_2^2}\frac{1}{F_{a/2}\left(n_1-1,n_2-1\right)}\end{array}$