概率论知识点总结(下)

参考资料

• 最大似然估计例题
• 何书元《概率论与数理统计》

6. 描述性统计

统计学的做法分为两种:

• 描述性统计:
  从数据样本中计算一些平均值、标准差、最小值、最大值等概括 统计量, 画直方图、散点图等描述图形。
• 推断性统计:
  假定要研究的对象服从某种概率模型, 收集数据后把数据用模型 解释, 并做出有概率意义的结论。

6.1 总体与样本

总体

• 总体参数是描述总体特性的指标, 简称参数。
• 如果总体中的个体是有限个, 称个体总数 $N$ 为总体容量。
• 总体平均或总体均值是参数。常用 $\mu$ 表示。如果知道总体的全部个体 (比如, 某小学所有一年级新生的身高) $y_1,y_2,\dots ,y_N$ 则
  $$\mu =\frac{1}{N}\sum _{i=1}^N{y}_i$$
• 总体方差是参数。常记为 ${\sigma }^2$ 。如果知道总体的全部个体 $y_1,y_2,\dots ,y_N$ 则
  $${\sigma }^2=\frac{1}{N}\sum _{i=1}^N{\left(y_i-\mu \right)}^2$$
  $\sigma$ 称为总体标准差。

样本

• 如果总体只有有限个样本虽然可以测量所有样本计算总体参数, 但可 能会消耗过大。
• 有些总体有无限个个体, 比如, 对某放射性物质测量固定长度时间内 放射出的粒子数, 每试验一次就有一个不同结果。
• 为了得到总体的信息, 可以从总体中抽取一个有代表性的个体的集合, 称为总体的一个样本。也叫观测数据。样本中个体的个数叫做样本量 (sample size)。
• 试图用样本的情况去判断总体的情况。注意, “有代表性” 是一个不容 忽视的要求。
• 从总体中抽取样本的工作叫做抽样 (sampling)。
• 设一个样本为 $x_1,x_2,\dots ,x_n$, 可计算
• 样本均值
  $$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
• 样本方差
  $$s^2=\frac{1}{n-1}\sum _{i=1}^n{\left(x_i-\bar{x}\right)}^2.$$
  $s=\sqrt{s^2}$ 称为样本标准差。

6.2 抽样调查方法

随机抽样

• 如果总体中的每个个体都有相同的机会被抽中, 就称这样的抽样方法 为随机抽样方法。
• 简单地分, 抽样分为有放回抽取和无放回抽取。
• 无放回随机抽样指在总体中随机抽出一个个体后, 下次在余下的个体 中再进行随机抽样.
• 有放回随机抽样指抽出一个个体, 记录下抽到的结果后放回, 摇匀后再 进行下一次随机抽样.
• 无放回抽取从实现上和从精度上更好, 总体容量 $N$ 很大时两者差异 很小。
• 提高样本量可以提高估计精度, 但不是总体越大, 考虑的特征越多, 样 本量也需要随之增大。
• 不论是有放回还是无放回，随机抽样是无偏的

分层抽样方法

• 把总体 $A$ 分成 $L$ 个互不相交子总体:
  $$A=A_1+A_2+\cdots +A_L.$$
  称这些子总体为层 (strata), 称 $A_i$ 为第 $i$ 层. 然后在每层中独立地进行随机抽样.
• 用 $N$ 表示总体 $A$ 的个体总数, 用 $N_i$ 表示第 $i$ 层的个体总数时, 有
  $$N=N_1+N_2+\cdots +N_L.$$
• 我们称
  $$w_i=\frac{N_i}{N},(i=1,2,\cdots ,L)$$
  为第 $i$ 层的层权 (weight).
• 用 $\mu$ 表示 $A$ 的总体均值.
• 对 $i=1,2,\cdots ,L$, 用 $n_i$ 表示从第 $i$ 层抽出样本的个数, ${\bar{x}}_i$ 表示从第 $i$ 层抽出样本的样本均值. 称
  $${\bar{x}}_{st}=w_1{\bar{x}}_1+w_2{\bar{x}}_2+\cdots +w_L{\bar{x}}_L$$
  是总体均值 $\mu$ 的简单估计.
• 称
  $$V\left({\bar{x}}_{st}\right)\equiv w_1^2\mathrm{Var}\left({\bar{x}}_1\right)+w_2^2\mathrm{Var}\left({\bar{x}}_2\right)+\cdots +w_L^2\mathrm{Var}\left({\bar{x}}_L\right)$$
  是简单估计 ${\bar{x}}_{st}$ 的抽样方差.
• 抽样方差 $V\left({\bar{x}}_{st}\right)$ 是评价简单估计 ${\bar{x}}_{st}$ 的估计精度的指标. $V\left({\bar{x}}_{st}\right)$ 越 小, 说明 ${\bar{x}}_{st}$ 越好.
• 当各层内总体方差相近时, 各层样本量 $n_i$ 应该正比于各层总体容量 $N_i$

7. 参数估计

如果 $X_1,X_2,\cdots ,X_n$ 独立同分布, 和 $X$ 同分布, 就称 $X$ 是 总体, 称 $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样本, 称观测数据的个 数 $n$ 为样本量.

7.1 点估计和矩估计

估计量 (统计量)

• 设 $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样本, $\theta$ 是总体 $X$ 的末知参 数. 如果 $g\left(x_1,x_2,\cdots ,x_n\right)$ 是已知函数, 就称
  $$\hat{\theta }=g\left(X_1,X_2,\cdots ,X_n\right)$$
  是 $\theta$ 的估计量, 简称为估计 (estimator). 换句话说, 估计或估计量是从 观测数据 $X_1,X_2,\cdots ,X_n$ 能够直接计算的量. 计算后得到的值称为估 计值. 估计量也称为统计量 (statistic).
• 设 $\hat{\theta }$ 是总体参数 $\theta$ 的估计, 作为随机变量 $X_1,X_2,\cdots ,X_n$ 的函数, 估 计量 $\hat{\theta }$ 也是随机变量. 估计量是样本的函数.

无偏估计,相合估计

• 设 $\hat{\theta }$ 是 $\theta$ 的估计.
  • 如果 $\mathrm{E}\hat{\theta }=\theta$, 称 $\hat{\theta }$ 是 $\theta$ 的无偏估计;
  • 如果当样本量 $n\to \infty ,\hat{\theta }$ 依概率收敛到 $\theta$, 就称 $\hat{\theta }$ 是 $\theta$ 的相合估 计 (consistent estimator);
  • 如果当样本量 $n\to \infty ,\hat{\theta }$ 以概率 1 收敛到 $\theta$, 就称 $\hat{\theta }$ 是 $\theta$ 的强相合估计 (strongly consistent estimator).
• 由于以概率 1 收玫可以推出依概率收玫, 所以强相合估计一定是相合 估计.

均值的估计

• 设总体均值 $\mu =\mathrm{E}X$ 存在, $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样 本.
• 均值 $\mu$ 的估计定义为
  $${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i$$
• 由于 ${\bar{X}}_n$ 是从样本计算出来的, 所以是样本均值.
• 样本均值 ${\bar{X}}_n$ 有如下的性质.
  (1) ${\bar{X}}_n$ 是 $\mu$ 的无偏估计. 这是因为 $\mathrm{E}{\bar{X}}_n=\mu$.
  (2) ${\bar{X}}_n$ 是 $\mu$ 的强相合估计, 从而是相合估计. 这是因为从强大数律得 到
  $$\underset{n\to \infty }{\lim }{\bar{X}}_n=\mu ,\mathrm{wp}1.$$

方差的估计

• 总体方差 ${\sigma }^2=\mathrm{Var}(X)$ 的点估计由
  $$S^2=\frac{1}{n-1}\sum _{j=1}^n{\left(X_j-\hat{\mu }\right)}^2$$
  定义. 由于 $S^2$ 是从样本计算出来的, 所以是样本方差.

• 定义 $Y_j=X_j-\mu$, 有
  $$\begin{array}{rl}& {\bar{Y}}_n=\frac{1}{n}\sum _{j=1}^n{Y}_j=\hat{\mu }-\mu ,\\ & Y_j-{\bar{Y}}_n=X_j-\hat{\mu },\\ & \mathrm{E}{\bar{Y}}_n^2=\frac{{\sigma }^2}{n}.\end{array}$$

• 于是得到
  $$\begin{array}{rl}{S}^2& =\frac{1}{n-1}\sum _{j=1}^n{\left(X_j-{\bar{X}}_n\right)}^2=\frac{1}{n-1}\sum _{j=1}^n{\left(Y_j-{\bar{Y}}_n\right)}^2\\ & =\frac{1}{n-1}\sum _{j=1}^n\left(Y_j^2-2Y_j{\bar{Y}}_n+{\bar{Y}}_n^2\right)\\ & =\frac{1}{n-1}\left[\sum _{j=1}^n{Y}_j^2-2n{\bar{Y}}_n{\bar{Y}}_n+n{\bar{Y}}_n^2\right]\\ & =\frac{1}{n-1}\left[\sum _{j=1}^n{Y}_j^2-n{\bar{Y}}_n^2\right]\end{array}$$

• 从而有
  $$\mathrm{E}{S}^2=\frac{1}{n-1}\left[\sum _{j=1}^n\mathrm{E}{Y}_j^2-n\mathrm{E}{\bar{Y}}_n^2\right]=\frac{1}{n-1}\left(n{\sigma }^2-{\sigma }^2\right)={\sigma }^2.$$
  说明 $S^2$ 是 ${\sigma }^2$ 的无偏估计.

样本均值、方差、标准差的理论结果

• 设 $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样本, $\mu =\mathrm{E}X$, ${\sigma }^2=\mathrm{Var}(X)$
  • 样本均值 ${\bar{X}}_n$ 是总体均值 $\mu$ 的强相合无偏估计,
  • 样本方差 $S^2$ 是总体方差 ${\sigma }^2$ 的强相合无偏估计,
  • 样本标准差 $S$ 是总体标准差 $\sigma$ 的强相合估计.

点估计

• 设 $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样本, 则 $X_1^j,X_2^j,\cdots ,X_n^j$ 是 总体 $X^j$ 的简单随机样本, 所以当原点矩 ${\nu }_j=\mathrm{E}{X}^j$ 存在时,
  $${\hat{\nu }}_j=\frac{1}{n}\sum _{i=1}^n{X}_i^j\text{\hspace{1em}(1.7)}$$
  是 ${\nu }_j$ 的点估计.
• ${\hat{\nu }}_j$ 具有无偏性和强相合性.
• 最后指出, 在实际数据的计算中, 也常用 ${\bar{x}}_n,s^2$ 和 $s$ 分别表示样本均 值, 样本方差和样本标准差:
  $${\bar{x}}_n=\frac{1}{n}\sum _{j=1}^n{x}_j,s^2=\frac{1}{n-1}\sum _{j=1}^n{\left(x_j-{\bar{x}}_n\right)}^2,s=\sqrt{s^2}.\text{\hspace{1em}(1.8)}$$

矩估计

• 设 $X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机样本, 已知 $X$ 有分布函数
  $$F\left(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right).\text{\hspace{1em}(1.9)}$$
  其中的 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$ 是末知参数.
• 如果能得到表达式
  $$\{\begin{array}{l}{\theta }_1=g_1\left({\nu }_1,{\nu }_2,\cdots ,{\nu }_m\right)\\ {\theta }_2=g_2\left({\nu }_1,{\nu }_2,\cdots ,{\nu }_m\right)\\ \cdots \cdots \cdots \cdots \cdots \cdots ,\\ {\theta }_m=g_m\left({\nu }_1,{\nu }_2,\cdots ,{\nu }_m\right)\end{array}\text{\hspace{1em}(1.10)}$$
  其中
  $${\nu }_j=\mathrm{E}{X}^j,j=1,2,\cdots ,m,$$
• 就称由
  $$\{\begin{array}{l}{\hat{\theta }}_1=g_1\left({\hat{\nu }}_1,{\hat{\nu }}_2,\cdots ,{\hat{\nu }}_m\right),\\ {\hat{\theta }}_2=g_2\left({\hat{\nu }}_1,{\hat{\nu }}_2,\cdots ,{\hat{\nu }}_m\right),\\ \cdots \cdots \cdots \cdots \cdots ,{\hat{\nu }}_m)\\ {\hat{\theta }}_m=g_m({\hat{\nu }}_1,{\hat{\nu }}_2,\cdots ,\end{array}\text{\hspace{1em}(1.11)}$$
  定义的 ${\hat{\theta }}_1,{\hat{\theta }}_2,\cdots ,{\hat{\theta }}_m$ 分别是 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$ 的矩估计 (moment estimator). 这里的 ${\hat{\nu }}_j$ 是 ${\nu }_j$ 的点估计, 由 (1.7) 定义.
• 由于总体分布 (1.9) 中含有末知参数, 所以 ${\nu }_j$ 是参数 ${\theta }_1,{\theta }_2,\cdots ,{\theta }_m$ 的 函数, 而方程 $(1.10)$ 通常是由下面的估计方程
  $$\{\begin{array}{l}{\nu }_1=h_1\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right),\\ {\nu }_2=h_2\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right),\\ \cdots \cdots \cdots \cdots \cdots ,\\ {\nu }_m=h_m\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)\end{array}\text{\hspace{1em}(1.12)}$$
  得到的. 注意这里的 ${\nu }_j=\mathrm{E}{X}^j$.

例题：正态分布参数的矩估计

• 设 $X$ 服从正态分布 $N\left(\mu ,{\sigma }^2\right)$.
• 由于
  $$\mu =\mathrm{E}X,{\sigma }^2=\mathrm{E}{X}^2-(\mathrm{E}X{)}^2={\nu }_2-{\nu }_1^2,$$
• 所以 $\mu ,{\sigma }^2$ 的矩估计分别是
  $$\begin{array}{rl}\hat{\mu }& ={\bar{X}}_n,\\ {\hat{\sigma }}^2& ={\hat{\nu }}_2-{\left({\hat{\nu }}_1\right)}^2\\ & =\frac{1}{n}\sum _{j=1}^n{X}_j^2-{\left({\bar{X}}_n\right)}^2\\ & =\frac{1}{n}\sum _{j=1}^n{\left(X_j-\hat{\mu }\right)}^2.\end{array}$$

7.2 最大似然估计

最大似然估计定义 (离散情况)

• 设离散随机变量 $X_1,X_2,\cdots ,X_n$ 有联合分布
  $$p\left(x_1,x_2,\cdots ,x_n;\theta \right)=P\left(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n\right),$$
  其中 $\theta$ 是末知参数, 给定观测数据 $x_1,x_2,\cdots ,x_n$ 后, 我们称 $\theta$ 的函数
  $$L(\theta )=p\left(x_1,x_2,\cdots ,x_n;\theta \right)$$
  为基于 $x_1,x_2,\cdots ,x_n$ 的似然函数, 称 $L(\theta )$ 的最大值点 $\hat{\theta }$ 为 $\theta$ 的最大 似然估计 (maximum likelihood estimator).
• $\theta$ 也可以是向量 $\mathbf{\theta }=\left({\theta }_1,{\theta }_2,\cdots ,{\theta }_m\right)$.

最大似然估计 (连续型)

• 设随机向量 $\mathbf{X}=\left(X_1,X_2,\cdots ,X_n\right)$ 有联合密度 $f(x;\mathbf{\theta })$, 其 中 $\theta$ 是末知参数. 得到 $X$ 的观测值 $x$ 后, 称 $\theta$ 的函数
  $$L(\mathbf{\theta })=f(\mathbf{x};\mathbf{\theta })$$
  为基于 $\mathbf{x}$ 的似然函数. 称似然函数 $L(\mathbf{\theta })$ 的最大值点 $\hat{\mathbf{\theta }}$ 为参数 $\mathbf{\theta }$ 的最 大似然估计.
• 最大似然估计通常被缩写成 MLE(Maximum Likelihood Estimator).
• 设总体 $X$ 有密度函数 $f(x;\mathbf{\theta }),X_1,X_2,\cdots ,X_n$ 是总体 $X$ 的简单随机 样本, 则 $\left(X_1,X_2,\cdots ,X_n\right)$ 的联合密度是
  $$f\left(x_1,x_2,\cdots ,x_n;\mathbf{\theta }\right)=\prod _{j=1}^{n}f\left(x_j;\mathbf{\theta }\right),$$
• 基于观测值 $\mathbf{x}=\left(x_1,x_2,\cdots ,x_n\right)$ 的似然函数是
  $$L(\mathbf{\theta })=\prod _{j=1}^{n}f\left(x_j;\mathbf{\theta }\right).$$
• 由于
  $$l(\mathbf{\theta })=\ln L(\mathbf{\theta })$$
  和似然函数有相同的最大值点, 所以称上式为对数似然函数. 实际问题中, 求对数似然函数 $l(\mathbf{\theta })$ 的最大值点往往要方便得多.

参数估计还有区间估计、置信区间等相关知识点，由于本人在实际工程上用得不多，所以这一块不总结了。

例题

7. 马尔可夫链

该部分来自知乎：https://zhuanlan.zhihu.com/p/418319247