数理统计 —— 参数估计与假设检验

• 数理统计基础概念见前文：数理统计 —— 总体、样本、统计量及其分布

---

1. 参数的点估计

1.1 概念

• 设总体 $X$ 的分布为 $F(x|\theta )$（可以是多维的），其中 $\theta$ 是一个未知参数，$X_1,X_2,...,X_n$ 是取自总体的一个样本。由样本构造一个适当的统计量 $\hat{\theta }(X_1,X_2,...,X_n)$ 作为参数 $\theta$ 的估计，则称统计量 $\hat{\theta }(X_1,X_2,...,X_n)$ 为 $\theta$ 的 估计量，通常记为 $\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$
• 如果 $x_1,x_2,...,x_n$ 是样本容量为n的一个观察值，将其带入估计量 $\hat{\theta }$ 中得值 $\hat{\theta }(x_1,x_2,...,x_n)$，并以其作为未知参数 $\theta$ 的近似值，统计中称这个值为未知参数 $\theta$ 的 估计值
• 建立一个适当的统计量作为未知参数 $\theta$ 的估计量，并以相应的观察值作为未知参数估计值的问题，称为参数 $\theta$ 的点估计问题

1.2 方法

1.2.1 矩估计法

1. 基本思想：

   1. 设总体 $X$ 中有 $k$ 个未知参数 ${\theta }_1,{\theta }_2,...,{\theta }_k$，$X_1,X_2,...,X_n$ 是来自总体 $X$ 的样本，如果 $X$ 的 $l$ 阶原点矩 $E(X^l)(l=1,2,...,k)$ 存在，即 $E(X^l)={\int }_{-\infty }^{+\infty }{x}^{l}f(x|{\theta }_1,{\theta }_2,...,{\theta }_k)dx$ 或 $E(X^l)=\sum _i{x}_i^{l}P(X=x_i|{\theta }_1,{\theta }_2,...,{\theta }_k)$ 存在，令样本矩=总体矩，即
      $$\frac{1}{n}\sum _{i=1}^n{x}_i^l=E(X^l)(l=1,2,...,k)$$
      这是包括 $k$ 个未知参数 ${\theta }_1,{\theta }_2,...,{\theta }_k$ 的 $k$ 个联立方程组（称为矩法方程），由此解得
      $${\hat{\theta }}_l={\hat{\theta }}_l(X_1,X_2,...,X_n)(l=1,2,...,k)$$
      则 ${\hat{\theta }}_l$ 为 ${\theta }_l$ 的矩估计量，${\hat{\theta }}_l(x_1,x_2,...,x_n)$ 为 ${\theta }_l$ 的矩估计值

2. 理解

   • 总体矩是由总体自身决定的一个常数（比如总体一阶原点矩 $\mu$ ，即期望），而样本矩来自抽样数据，每一个样本观察值求出的样本矩都不同（比如样本均值 $\bar{X}$），因此样本矩和总体矩相等的概率其实是0。不过由于样本满足 $X_i\stackrel{i.i.d}{\sim }X$，我们可以肯定样本矩离总体矩相距不远，因此强行令二者相等，就得到一个关于未知参数 $\theta$ 估计值 $\hat{\theta }$ 的等式
   • 总体 $X$ 中有几个未知参数，就按 ”样本 $l$ 阶矩=总体 $l$ 阶矩”（$l=1,2,...$）这样列出多少方程，联立解方程就解出了所有未知参数 $\theta$ 的估计值 $\hat{\theta }$

3. 注
   

1.2.2 最大似然估计法

1. 基本思想

   • 对未知参数 $\theta$ 进行估计时，在该参数可能的取值范围 $I$ 内选取，使得 “此样本获此观测值 $x_1,x_2,...,x_n$” 的概率最大的参数值 $\hat{\theta }$ 作为 $\theta$ 的估计，这样选定的 $\hat{\theta }$ 最有利于 $x_1,x_2,...,x_n$ 的出现
   • $\theta \in I$ 是未知参数，$X_1,X_2,...,X_n$ 为 $X$ 的一个样本，记 $X_1,X_2,...,X_n$ 取值为 $x_1,x_2,...,x_n$ 的概率为样本的 似然函数 $L(\theta )$，即
     $$L(\theta )=L(x_1,x_2,...,x_n;{\theta }_1,{\theta }_2,...,{\theta }_k)=\{\begin{array}{rlr}& \prod _{i=1}^{n}p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)& X是离散型随机变量\\ & \prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)& X是连续型随机变量\end{array}$$
     若存在 $\hat{\theta }=\hat{\theta }(x_1,x_2,...,x_n)\in I$，使
     $$L(x_1,x_2,...,x_n;\hat{\theta })=\underset{\theta \in I}{\max }L(x_1,x_2,...,x_n;\theta )$$
     则称 $\hat{\theta }=\hat{\theta }(x_1,x_2,...,x_n)$ 为参数 $\theta$ 的 最大似然估计值，而相应的统计量 $\hat{\theta }(X_1,X_2,...,X_n)$ 称为参数 $\theta$ 的 最大似然统计量
   • 说明：$p(x;\theta )$ 这种写法的意思是 $X=x$ 的概率取决于一个目前未知的固定参数 $\theta$。在数值上和 $p(x)$ 相同，加个 $\theta$ 只是为了说明这里有个固定的待估参数

2. 求参数最大似然估计量的步骤

   1. 写出样本的似然函数
      $$L(\theta )=L(x_1,x_2,...,x_n;{\theta }_1,{\theta }_2,...,{\theta }_k)=\{\begin{array}{rlr}& \prod _{i=1}^{n}p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)& X是离散型随机变量\\ & \prod _{i=1}^{n}f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)& X是连续型随机变量\end{array}$$
      注意：

      1. 后面我们要最大化这个 $L(\theta )$，为了简化计算，可以两边取对数把连乘转换为连加，这样处理后得到 对数似然函数
      2. 这里 $p(x_i;\theta )={\sum }_k^{M}p(x_i|w_k;\theta )$，等号右边是类条件概率（$w_k$ 是 $x_i$ 所属的类）。朴素贝叶斯方法中需要估计这个类条件概率，通常写成拆开的形式；而参数估计时我们要对模型整体进行估计，所以 $w$ 不重要可以省略

   2. 如果 $p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)$ 或 $f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)$ 关于 ${\theta }_i(i=1,2,...,k)$ 可微。则令
      $$\frac{\partial L(\theta )}{\partial {\theta }_i}=0或\frac{\partial lnL(\theta )}{\partial {\theta }_i}=0$$
      由于 $L(\theta )$ 是连乘形式，又 $lnx$ 是 $x$ 的单调增函数，因此 $L(\theta )$ 和 $lnL(\theta )$ 在同一 $\theta$ 取极值，所以通常使用解对数似然方程组 $\frac{\partial lnL(\theta )}{\partial {\theta }_i}=0$ 的方法，求得 ${\theta }_i$ 的最大似然估计量 $\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)(i=1,2,...,k)$

   3. 若 $p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)$ 或 $f(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k)$ 不可微，或似然方程组无解，则应由定义用其他方法求得 $\hat{\theta }$，例如当 $L(\theta )$ 为 $\theta$ 的单调函数时，$\hat{\theta }$ 为 $\theta$ 取值的上限或下限

   4. 对于可微和不可微两种情况，可以参考
      极大似然估计详解 这篇文章最后估计正态分布和均匀分布参数的两个例子。

3. 理解

   • 最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。比如一个菜鸟和一个高手运动员一起打靶，问你一个十环的成绩最可能是谁打出的，显然高手更有可能打出十环，这就执行了一次最大似然估计
   • 在统计学中，似然函数（likelihood function）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能性，还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上，于是我们判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们运用出现的结果来判断这个事情本身的性质（参数），也就是似然。
   • 对于一个参数化模型，给出一个确定的结果，似然函数必然包含其模型参数，通过最大化似然函数求解模型的最优参数，即是进行最大似然估计。

4. 注

   • 求总体分布中未知参数 $\theta$ 的最大似然估计量必须知道总体的概率密度或分布，写出样本的似然函数（或对数似然函数），并求出最大值点是关键
   • 最大似然估计量的不变性原则：设 $\hat{\theta }$ 是总体分布中未知参数 $\theta$ 的最大似然估计，函数 $u=u(\theta )$ 具有单值反函数 $\theta =\theta (u)$，则 $\hat{u}=u(\hat{\theta })$ 是 $u(\theta )$ 的最大似然估计。对于多个未知参数，不变性原理仍然成立

5. 示例
   

1.3 估计量的评价标准

2. 参数的区间估计

2.1 基本概念

• 设 $\theta$ 是总体 $X$ 的一个未知参数，对于给定 $\alpha$ (0<$\alpha$<1)，如果样本 $X_1,X_2,...,X_n$ 确定的两个统计量 ${\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,...,X_n)$，${\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,...,X_n)$（${\hat{\theta }}_1<{\hat{\theta }}_2$），使
  $$P\{{\hat{\theta }}_1(X_1,X_2,...,X_n)<\theta <{\hat{\theta }}_2(X_1,X_2,...,X_n)\}=1-\alpha$$
  则称随机变量 $({\hat{\theta }}_1,{\hat{\theta }}_2)$ 是 $\theta$ 置信度为 $1-\alpha$ 的 置信区间，${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 分别称为 $\theta$ 的双侧置信区间的 置信下限和置信上限，$1-\alpha$ 称为 置信度或置信水平，$\alpha$ 称为 显著性水平
  • 注意：置信区间长度表示估计的精度，置信区间越短表示估计精度越高
• 给定置信度，求未知参数置信区间的问题，称为 参数区间估计问题

2.2 理解

• 总体 $X$ 的指标是一个确定性数，比如某批灯泡的寿命期望 $\mu$ 和方差 $\sigma$ 都是常数

• 从总体中抽取简单随机样本 $(X_1,X_2,\dots ,X_n)$ ，其寿命均值 $\bar{X}$ 和 $\mu$ 是什么关系呢？没有关系！每一个样本的均值 $\bar{X}$ 都会或多或少地偏离 $\mu$ ，事实上，对于寿命这种连续型随机变量，有$P(\bar{X}=\mu )=0$，上面矩估计也说了这个问题

• 尽管如此，由于样本满足 $X_i\stackrel{i.i.d}{\sim }X$，我们可以肯定 $\bar{X}$ 离 $\mu$ 相距不远，形式化一点，可以描述为 $\bar{X}$ 和 $\mu$ 的距离 $\ge$ 某一小量 $△$ 的概率为另一小量 $\alpha$，即
  $$\begin{array}{rl}& P(|\bar{X}-\mu |<△)=1-\alpha \\ & P(|\bar{X}-\mu |\ge △)=\alpha \end{array}$$
  $\alpha$ 称为显著性水平，一般取0.025、0.05、0.01等小数； $1-\alpha$ 称为置信度/置信水平

• 根据中心极限定理，对于独立同分布的随机变量序列 $\{X_i\}$（可以看作样本），无论 $X_i$ 服从什么分布，其和式在大样本条件下都会服从正态分布，即
  $$\begin{gathered} \sum _{i=1}^n{X}_i\stackrel{n\to \infty }{\sim }N(n\mu ,n{\sigma }^2) \\ \frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\stackrel{n\to \infty }{\sim }N(0,1) \end{gathered}$$
  因此下面我们只分析正态总体的参数估计和假设检验问题

2.3 置信区间的求解

1. $\sigma$ 已知时：
   先解 $△$， 由于 $X\sim N(\mu ,{\sigma }^2)$，有 $\bar{X}\sim N(\mu ,\frac{{\sigma }^2}{n})$，标准化得
   $$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
   把 $\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}$ 记作随机变量 $Z$，以概率形式描述置信区间
   $$P(|Z|<\frac{△}{\sigma /\sqrt{n}})=1-\alpha$$
   对应到标准正态分布的概率密度图像上，有
   
   于是可以如下解出 $△$ （$Z_{\frac{\alpha }{2}}$ 的值可以通过查标准正态分布上$\alpha$分位数表得到）
   $$\begin{gathered} \frac{△}{\sigma /\sqrt{n}}=Z_{\frac{\alpha }{2}} \\ △=Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}} \end{gathered}$$

   得到 $△$ 后，给定置信度 $1-\alpha$，就有置信区间 $(\bar{X}-△,\bar{X}+△)$，即
   $$P(\bar{X}-△<\mu <\bar{X}+△)=1-\alpha$$

2. $\sigma$ 未知时：

   使用样本方差 $S$ 代替 $\sigma$，根据常用结论（见上篇文章）
   $$\frac{\sqrt{n}(\bar{X}-\mu )}{S}\sim t(n-1)$$
   把 $\frac{\bar{X}-\mu }{S/\sqrt{n}}$ 记为 $t$，有
   $$P(|t|<\frac{△}{S/\sqrt{n}})=1-\alpha$$
   同理对应到 $t$ 分布的概率密度图像上，以概率形式描述置信区间
   

   于是可以如下解出 $△$ （$t_{\frac{\alpha }{2}}(n-1)$ 的值可以通过查 $t$ 分布上$\alpha$分位数表得到）
   $$△=t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}$$
   同理，给定置信度 $1-\alpha$，就有置信区间 $(\bar{X}-△,\bar{X}+△)$

2.4 正态总体均值的置信区间 （置信水平为 $1-\alpha$）

3. 假设检验

3.1 思想方法

• 关于总体（分布中的未知参数，分布的类型、特征、相关性,独立性…）的每一种论断（“看法”）称为统计假设。然后根据样本观察数据或试验结果所提供的信息去推断（检验）这个“看法”（即假设）是否成立，这类统计推断问题称为统计假设检验问题，简称为 假设检验。

  • 如果总体分布函数 $F(x;\theta )$ 形式已知，但其中的参数 $\theta$ 未知，只涉及参数 $\theta$ 的各种统计假设称为 参数假设。
  • 如果一个统计假设完全确定总体的分布，则称这种假设为 简单假设。
  • 常常把着重考查、没有充分理由不能轻易否定的假设取为 原假设/基本假设/零假设，记为 $H_0$，将其否定的陈述（假设）称为 对立假设/备择假设，记为 $H_1$。对原假设 $H_0$ 作出否定或不否定的推断，通常称为对 $H_0$ 作 显著性检验。

• 对这些假设进行检验的基本思想是采用带有概率性质的反证法，即 ”小概率原理“，也即 “概率很接近于0的事件在一次试验或观察中认为它不会发生”，若发生了则拒绝原假设$H$。小概率事件中 “小概率” 的值没有统一规定，通常是根据实际问题的要求，规定一个界限 $\alpha (0<\alpha <1)$ 当一个事件的概率不大于 $\alpha$ 时，即认为它是小概率事件。在假设检验问题中，$\alpha$ 也称为显著性水平，通常取0.1、0.05、0.01等。

• 在假设检验中，由拒绝原假设 $H_0$ 的全体样本点所组成的集合 $C$ 称为 否定域/拒绝域，$C$ 的补集 $C^{\ast }$ 称为 $H_0$ 的 接受域。

• 如果 $H_0$ 的否定域形式为 $C=\{(x_1,x_2,...,x_n)|T>{\lambda }_2或T<{\lambda }_1\}$，即否定域位于接受域两侧，则称这种检验为 双边检验。如果 $H_0$ 的否定域形式为 $C=\{(x_1,x_2,...,x_n)|T>\lambda \}$ 或 $C=\{(x_1,x_2,...,x_n)|T<\lambda \}$，即否定域位于接受域的一侧，称这种检验为 右边检验或左边检验，统称 单边检验

3.2 理解

• 假设检验其实是区间估计的一个应用，以总体分布参数期望 $\mu$ 为例

  • 在区间估计时，我们不知道真实 $\mu$，所以通过样本均值 $\bar{X}$ 来估计 $\mu$。这个估计是概率形式的，给定一个 $\alpha$（显著性水平），我们就能肯定有 $1-\alpha$ 的概率（置信度）满足 $\bar{X}$ 和 $\mu$ 的距离小于 $△$，即
    $$P(|\bar{X}-\mu |<△)=1-\alpha$$
    根据总体方差 $\sigma$ 是否已知，有
    $$△=\{\begin{array}{rlr}& Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}& \sigma 已知,Z\sim N(0,1)\\ & t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}& \sigma 未知,t\sim t(n-1)\end{array}$$

  • 在假设检验时，我们已经有了一个原假设 $H_0$（比如 $\mu ={\mu }_0$）以及备择假设$H_1$（比如 $\mu \ne {\mu }_0$）。从概率角度描述 $H_0$，就是样本均值 $\bar{X}$ 和 ${\mu }_0$ 的差距 $\ge$ 小量 $△$ 的概率应该为一小量 $\alpha$（显著性水平），即
    $$P(|\bar{X}-{\mu }_0|\ge △)=\alpha$$
    同理解出
    $$△=\{\begin{array}{rlr}& Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}& \sigma 已知,Z\sim N(0,1)\\ & t_{\frac{\alpha }{2}}(n-1)\frac{S}{\sqrt{n}}& \sigma 未知,t\sim t(n-1)\end{array}$$
    根据小概率原理，我们认为 $|\bar{X}-{\mu }_0|\ge △$ 这件事不会发生，换句话说，一旦某个样本满足了 $|\bar{X}-{\mu }_0|\ge △$ ，我们就拒绝原假设 $H_0$，拒绝原假设的这个区间 $(-\infty ,-{\mu }_0-△]\cup [{\mu }_0+△,+\infty )$ 称为拒绝域，这是一种双边检验。当 $H_1$ 是 $\mu >{\mu }_0$ 或 $\mu <{\mu }_0$ 时成为单边检验，计算都类似

3.3 正态总体下六大检验及拒绝域

3.4 示例

4. 两类错误

• 两类错误
  • 第一类错误（”弃真“）：$H_0$ 为真，但按检验法则否定了 $H_0$。犯这种错误的概率为 $\alpha =P\{拒绝H_0|H_0为真\}$
  • 第二类错误（”取伪“）：$H_0$ 为假，但按检验法则接受了 $H_0$。犯这种错误的概率为 $\beta =P\{接受H_0|H_1为真\}$
• 注意：
  • 两类错误的概率，并不满足 $\beta =1-\alpha$
  • 在固定样本容量 $n$ 的情况下，$\beta$ 和 $\alpha$ 此小彼大
  • 实际应用中，我们通常认为第二类错误的危害更小，因此在控制 $\alpha$ 的情况下尽量减小 $\beta$
• 关于 $\alpha$
  • 是显著性水平
  • 是假设检验中小概率事件的发生概率
  • 是犯第一类错误的概率

5. 无偏性、有效性、一致性（相合性）

5.1 无偏性

• 无偏估计是用样本统计量来估计总体参数时的一种无偏推断。 估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。
  $$\mathbb{E}(\hat{\theta })=\theta$$
• 无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值
• 注意：
  1. 无偏估计有时并不一定存在
  2. 可估参数的无偏估计往往不唯一
  3. 无偏估计不一定是好估计
  4. 有偏估计可以修正为无偏估计

5.2 有效性

• 有效性就是看估计量的方差值，方差代表波动，波动越小越有效
• 若 $D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$ 则 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 更加有效

5.3 一致性

• 一致性就是在大样本条件下，估计值接近真实值
• 对 $\forall \epsilon >0$，有：
  $$\underset{n\to \infty }{\lim }P(|\hat{\theta }-\theta |\ge ϵ)=0$$