统计推断-经典统计推断

基本问题

• 统计推断是什么？
  统计推断是从观测数据推断未知变量或未知模型的有关信息的过程。
• 统计推断的用途是什么？
  统计推断可用于“参数估计”,“假设检验”，“显著性检验”
• 统计推断的研究思路是什么?
  主要有两种思路:“贝叶斯统计推断” 和“经典统计推断”。(大局方法)
• 统计推断具体使用的"算法"有哪些？
  最大后验概率准则,最小均方估计，最大似然估计，回归，似然比检验等。(小方法)

统计学与概率论

“统计学”与“概率论”在认识论上有明显的区别。
概率论是建立在概率公理上的系统自我完善的数学课题。我们会假设一个完整的特定的概率模型满足概率公理，然后用数学方法研究模型的一些性质。概率模型无需与现实世界相一致，它值对概率公理负责。
统计学是针对一个具体的问题，寻求合理的研究方法，希望得到合理的结论。这就存在很大的自由度，采取不同的研究方法，结论可能不同。通常我们会附加一些限制条件，以便得到“理想结论”。

正是由于统计学的这种特征，现实社会存在许多人为制造的"理想结论"，这些结论可能来源于真实的数据，但研究方法是人为选定的。

贝叶斯统计与经典统计

贝叶斯统计与经典统计(频率学派)是两种突出但对立的思想学派。
最重要的区别就是如何看待未知模型或变量。贝叶斯学派将其看成已知分布的随机变量。而经典统计将其看成未知的待估计的量。
贝叶斯方法将统计拉回“概率论”的研究领域，使得每个问题只有一个答案。经典统计将未知量看作一种参数，它是一个常数，未知需要估计。
从现实角度来看，贝叶斯统计主张将假设的先验分布公开，即研究过程公开了。贝叶斯统计推断涉及到多维度积分，计算困难，所以贝叶斯学派的最新成功可能集中于如何计算上。

推断模型与推断变量

这两种问题有细微的区别。推断模型是为了研究某种现象或过程的一般规律，以期能够预测未来现象的结果。推断变量是从已知的量，推测未知的量，例如从gps信息推断所处于的位置。

术语解释

• 参数估计:对参数进行估计，使得在某种概率意义下估计接近真实值。
• 假设检验:未知参数根据对立的假设可能取有限个值，选择一个假设，目标是使犯错误的概率最小。
• 显著性检验：对于一个给定的假设，希望发生错误(“接受错误”与“拒绝正确”)的概率适当地小.
• 最大似然估计:在选择参数$\theta$时，使得观测数据最有可能出现，即观测到当前数据的概率达到最大。
• 线性回归：对于给定的一组观测数据，采用线性拟合的方式建立模型。约束条件是使观测数据与模型值的差的平方和最小。(最小二乘法)
• 似然比检验:对于给定的两个假设，根据他们发生的可能性的比值选择其中一个，使得犯错的概率适当小。

经典参数估计

虽然把$\theta$当作常数，而不是随机变量，但仍然把$\theta$估计量当作随机变量$\hat{\Theta }$，因为$\hat{\theta }$一般而言是$x$的函数,$\hat{\theta }=g(x)$，所以也有:$\hat{\Theta }=g(X)$。也可以写成$\hat{\Theta }=g(X;\theta )$，这个式子的意思是$\hat{\Theta }$是$\theta$的数值函数。

术语

${\hat{\Theta }}_n$是未知参数$\theta$的估计量，也即$n$个观测$X_1,X_2,...,X_n$($X$的分布依赖于$\theta$)的函数:

• 估计误差:${\tilde{\Theta }}_n={\hat{\Theta }}_n-\theta$
• 估计量偏差:$b_{\theta }({\hat{\Theta }}_n)=E(\hat{\Theta })-\theta$
• 估计量的偏差，方差，期望是\theta的函数，而估计误差是$(X_1,X_2,....,X_n,\theta )$的函数
• 无偏估计的定义:如果$E(\hat{\Theta })=\theta$对$\theta$所有可能的取值都成立
• 渐进无偏的定义:如果${\lim }_{n\to \infty }E({\hat{\Theta }}_n)=\theta$.
• 称$\hat{\Theta }$是$\theta$的相合估计序列，如果对于所有的$\theta$可能的取值，$\hat{\Theta }$依概率收敛到参数$\theta$的真值:$\forall ϵ>0,{\lim }_{n\to \infty }P(|\hat{\Theta }-\theta |>ϵ)=0.$
• $E({\tilde{\Theta }}^2)=E[({\hat{\Theta }}_n-\theta {)}^2]=var({\hat{\Theta }}_n-\theta )+E^2({\hat{\Theta }}_n-\theta )=var({\hat{\Theta }}_n)+b_{\theta }^2(\hat{\Theta })$,这个式子建立了估计均方误差、估计量方差、估计偏差的关系。可以看出均方误差也是$\theta$的函数。如果均方误差不变，则减小方差会增大偏差，减小偏差会增大方差。

最大似然估计

定义:设观测向量$X=(X_1,X_2,...,X_n)$的联合分布列为$p_{X_1,X_2,..,X_n}(x_1,x_2,...,x_n;\theta )=p_X(x_1,x_2,...,x_n;\theta )$,最大似然估计就是寻求参数$\theta =\hat{\theta }$使得关于$\theta$的函数$p_X(x_1,x_2,...,x_n;\theta )$达到最大,即寻求参数$\theta =\hat{\theta }$使得观测值$X$最有可能出现。
当$X$为连续随机变量时,$p_X$用概率密度函数$f_X(x_1,x_2,...,x_n;\theta )$代替。
如果$X_1,X_2,...,X_n$是相互独立的，那么$p_X=p_{X_1}{p}_{X_2}...p_{X_n},$此时可用对数似然函数来简化计算:$ln(p_X)=ln{p}_{X_1}+...+ln{p}_{X_n}$

与贝叶斯最大后验概率准则对比:
最大后验概率准则:求$\theta =\hat{\theta }$使得$p_{\Theta }(\theta )p_{X|\Theta }(x|\theta )$取最大值。
最大似然估计:求$\theta =\hat{\theta }$使得$p_X(X;\theta )$取最大值。
可以看出当$\Theta$是均匀分布时,最大后验准则等价于最大似然估计。均匀分布即$\Theta$取任何值的概率都相等，这就是经典统计推断与贝叶斯统计推断的不同之处。

如果$\theta$的最大似然估计是$\hat{\theta }$，那么$g(\theta )$的最大似然估计是$g(\hat{\theta })$.这里要求$g(x)$是一一映射函数。

---

举例:某人上班迟到时间是一个随机变量X,服从参数为$[0,\theta ]$上的均匀分布,$\theta$未知，是随机变量$\Theta$的一个值，$\Theta$服从$[0,1]$上的均匀分布。假设某次迟到时间为x。用最大似然估计来估计$\theta$。
流程:
$f_X(x;\theta )=\frac{1}{\theta }$
画出$\theta -x$的取值范围图:

$\theta$的取值范围图中阴影部分。对于观测值$x=x_0,\theta$的取值范围为图中红线部分。显然当$\theta =x$时能使$f_X$达到最大。所以$\theta$的最大似然估计$\hat{\Theta }=X$.

---

均值和方差的估计

利用经典统计推断一个概率分布的均值和方差(不一定是“最大似然估计”)。
这里的目标是通过样本推断总体的无偏估计均值和方差。

假设条件:

1. 观测向量$(X_1,X_2,...,X_n)$是独立同分布
2. 均值为未知参数$\theta$.方差为未知参数$v={\sigma }^2$
   对于均值最自然的估计量是样本均值:
   $$\hat{\Theta }=M_n=\frac{X_1+X_2+...+X_n}{n}$$
   样本均值当作均值估计量时有:

• $E(M_n)=\theta$,所以$M_n$是$\theta$的无偏估计量。
• $E(X_i{M}_n)={\theta }^2=E(X_i)E(M_n)$，所以$M_n$和$X_i$不相关。
• $var(M_n)=var(X_1+X_2+...+X_n)/n^2=v/n$.可见方差和均方不依赖
• 均方误差$E[(\hat{\Theta }-\theta {)}^2]=E[(M_n-\theta {)}^2]=E[(M_n-E(M_n){)}^2]=var(M_n)$,对于无偏估计量总有方差等于均方误差。上式也说明估计量$M_n$的方差和均方误差都不依赖于$\theta$(不是所有的估计量都有这个性质).
• 样本均值$M_n$不一定是方差最小的估计量。例如取$\hat{\Theta }=0$，此时方差是0，由于“均方误差=方差+偏差的平方”，此时偏差不是0，均方误差也依赖于$\theta$了。

对于方差$v$的估计量最自然的选择:
$$\hat{V}=\frac{1}{n}\sum _{i=1}^n(X_i-M_n{)}^2={\overline{S}}_n^2$$
那么${\overline{S}}_n^2$是否是$v$的无偏估计量呢？
$$\begin{gathered} E(\hat{V})=E({\overline{S}}_n^2)=\frac{1}{n}{\sum }_{i=1}^n[E(X_i^2)-2E(X_i{M}_n)+E(M_n^2)] \\ =\frac{1}{n}[n(v+{\theta }^2)-v-n{\theta }^2] \\ =v-\frac{v}{n}=\frac{n-1}{n}v \end{gathered}$$
说明${\overline{S}}^2$不是$v$的无偏估计量，比方差$v$少$v/n$，但${\overline{S}}^2$是渐进无偏的.为了得到$v$的无偏估计量，可以对${\overline{S}}^2$进行一定的缩放:
$$E({\hat{S}}_n^2)=E[\frac{n}{n-1}\ast {\overline{S}}_n^2]=v$$
所以方差的估计量有两个:
$${\overline{S}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-M_n{)}^2,{\hat{S}}^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-M_n{)}^2$$

无偏估计方差为什么会出现有(n-1)?
方差的计算式子中$E[(X-\mu {)}^2]$中$\mu$是常数，方差为0.而在这里的估计过程中,期望和方差都是待估计量，都不是常数。所以样本的方差${\overline{S}}_n^2$包含了样本均值的方差$v/n$和样本的无偏方差${\hat{S}}_n^2$.

置信区间

粗略地说，置信区间的作用是使用"区间估计"代替“点估计”,使得"区间"包含真值的概率达到适当的水平。这个适当的水平即"置信水平",通常设为$1-\alpha$.置信区间设为$[{\hat{\Theta }}_n^{-},{\hat{\Theta }}_n^{+}]$,要求置信区间包含真值的概率达到置信水平:
$$P({\hat{\Theta }}_n^{-}\le \theta \le {\hat{\Theta }}_n^{+})\ge (1-\alpha )$$
称$[{\hat{\Theta }}_n^{-},{\hat{\Theta }}_n^{+}]$为$(1-\alpha )$置信区间。

请注意，这里随机变量是与区间相关的。例如假设$[0,1]$是$\theta$的$0.95$置信区间，准确的理解是$[0,1]$包含$\theta$的概率是$0.95$，而不能说$\theta$落在$[0,1]$内的概率是$0.95$.

求近似的置信区间

在很多重要的模型中$\hat{\Theta }$的分布是渐进正态无偏的(中心极限定理)，在$n\to \infty$时,$E(\hat{\Theta })\to \theta$,所以:
$$Z_n=\frac{{\hat{\Theta }}_n-\theta }{\sqrt{var(\hat{\Theta })}}$$
服从标准正态分布.
查表$\Phi (1.96)=P(Z_n\le 1.96)=0.975$
假设$\theta$处于置信区间的中点，那么${\hat{\Theta }}^{-}=\hat{\Theta }-l,{\hat{\Theta }}^{+}=\hat{\Theta }+l$,于是有：
$P(-l\le \hat{\Theta }-\theta \le +l)\ge (1-\alpha )$
$(\hat{\Theta }-\theta )$正态分布的对称轴是0(因为均值为0).

如图阴影部分面积为$(1-\alpha )$,那么就应该有$\Phi (L)=1-\alpha /2$
如果$\alpha =0.05$,置信水平是$0.95$,查表$\Phi (1.96)=1-0.25=0.975$,
所以$L=1.96=\frac{\hat{\Theta }-\theta }{\sqrt{var(\hat{\Theta })}}$,
$$\hat{\Theta }-L\sqrt{var(\hat{\Theta })}\le \theta \le \hat{\Theta }+L\sqrt{var(\hat{\Theta })}$$
其中$\Phi (L)=1-\alpha /2$.上式就是$(1-\alpha )$置信水平的置信区间。

假设$\theta$是固定的，运用相同的统计过程建立了n个$0.95$置信区间。可以预期在n个置信区间中，将有95%的置信区间包含$\theta$.

基于方差近似估计量的置信区间

在上面的置信区间式子中包含估计量的方差$var(\hat{\Theta })$,如果用样本均值$$\hat{\Theta }=M_n=\frac{X_1+X_2+...+X_n}{n}$$
来估计$\theta$,用无偏估计量:
$${\hat{S}}^2=\frac{1}{n-1}\sum _{i=1}^n[(X_i-\theta {)}^2]$$
来估计方差.那么就可以用${\hat{S}}^2/n$来估计$var(\hat{\Theta })=var(M_n)=v/n$。
对于给定的$\alpha$,可以构造一个近似的$(1-\alpha )$的置信区间,即:
$$[\hat{\Theta }-L\frac{\hat{S}}{\sqrt{n}},\hat{\Theta }+L\frac{\hat{S}}{\sqrt{n}}]$$,
其中$\Phi (L)=1-\alpha /2$.
整个过程有两个近似:

• 将$\hat{\Theta }$看作正态分布的随机变量
• 用估计${\hat{S}}^2/n$来代替来$\hat{\Theta }$真实的方差$var(\hat{\Theta })$

所以这里实际上是用正态分布去近似了一个不是正态分布的概率。为了$\Phi (L)=1-\alpha /2$更精确,用一个比正态分布更好的$t$-分布去计算$L$.
现在定义一个随机变量:
$$T_n=\frac{\hat{\Theta }}{{\hat{S}}_n/\sqrt{n}}$$
,称$T_n$为自由度$n-1$的$t$-分布。
此时$L$的计算式子为:
$${\Psi }_{n-1}(L)=1-\alpha /2$$.
其中${\Psi }_{n-1}(z)$是自由度为$n-1$的t-分布的概率分布函数.
由t-分布和正态分布的关系,可以得出t-分布应该和正态分布函数的图像近似。

---

举例:利用电子天平得到一个物体重量的八次测量,观测值是真实的质量加上一个随机误差，随机误差服从$(0,v)$的正态分布,假设每次观测误差都是相互独立的，观测值如下:
$X=(0.5547,0.5404,0.6364,0.6438,0.4917,0.5674,0.5664,0.6066)$
计算95%置信区间。
这类不知道方差的情况，使用t-分布来近似计算置信区间.
流程:

1. 计算均值和方差.
   $\theta =E(\hat{\Theta })=E(M_n)=0.574$,方差的估计是$\frac{{\hat{S}}^2}{n}=\frac{1}{n-1}{\sum }_{i=1}^n[(X_i-\theta {)}^2]=3.2952\ast 10^{-4}$
   因而标准差估计为:$\sqrt{3.2952\ast 10^{-4}}=0.0182$
2. 查t-分布表
   查表使得:${\Psi }_7(L)=1-\alpha /2=0.975=\Psi (2.365)$
3. 计算置信区间$[\hat{\Theta }-L\frac{\hat{S}}{\sqrt{n}},\hat{\Theta }+L\frac{\hat{S}}{\sqrt{n}}]$
   置信区间为:$[\hat{\Theta }-0.043,\hat{\Theta }+0.043]$.使用样本均值作为$\hat{\Theta }$的估计则$0.95$置信区间为:$[0.531,0.617]$

方差的估计方式可以有多种，所以答案不是唯一的，这里采用的是样本的无偏估计方差${\hat{S}}^2$。

---

线性回归

线性回归的典型应用:已知$n$组数据对$(x_i,y_i)$,使用线性回归$y=cx+d$来拟合$x,y$之间的关系。
用最小二乘法推导计算公式:
$\{\begin{array}{l}c{x}_1+d=y_1\\ c{x}_2+d=y_2\\ ...\\ c{x}_n+d=y_n\end{array}$
将此式写成矩阵形式$Az=b$:
$A=\left(\begin{array}{cc}{x}_1& 1\\ x_2& 1\\ ...& ...\\ x_n& 1\end{array}\right),z=\left(\begin{array}{c}c\\ d\end{array}\right),b=\left(\begin{array}{c}y1\\ y2\\ ...\\ y_n\end{array}\right)$
$Az=b,A^{T}Az=A^{T}b$
$z=(A^{T}A{)}^{-1}{A}^{T}b$
计算:
$A^T=\left(\begin{array}{cccc}{x}_1& x_2& ...& x_n\\ 1& 1& ...& 1\end{array}\right)$
$A^{T}A=\left(\begin{array}{cc}\sum x_i^2& \sum x_i\\ \sum x_i& n\end{array}\right)$
由于:${\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)}^{-1}=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$
$(A^{T}A{)}^{-1}=\frac{1}{n\sum x_i^2-(\sum x_i{)}^2}\left(\begin{array}{cc}n& -\sum x_i\\ -\sum x_i& \sum x_i^2\end{array}\right)$
$A^{T}b=\left(\begin{array}{c}\sum (x_i{y}_i)\\ \sum y_i\end{array}\right)$
$z=(A^{T}A{)}^{-1}{A}^{T}b=\frac{1}{n\sum x_i^2-(\sum x_i{)}^2}\left(\begin{array}{cc}n& -\sum x_i\\ -\sum x_i& \sum x_i^2\end{array}\right)\left(\begin{array}{c}\sum (x_i{y}_i)\\ \sum y_i\end{array}\right)$
$=\frac{1}{n\sum x_i^2-(\sum x_i{)}^2}\left(\begin{array}{c}n\sum (x_i{y}_i)-\sum x_i\sum y_i\\ -\sum x_i\sum (x_i{y}_i)+\sum (x_i^2)\sum y_i\end{array}\right)$
设$n\overline{x}=\sum (x_i),n\overline{y}=\sum y_i$,则有:
$\sum {\overline{x}}^2=1/n\ast \sum (x_1+x_2+...+x_n)\overline{y}=\sum x_i\overline{x}$
$\sum \overline{x}\overline{y}=\sum (x_i\overline{y})=\sum (\overline{x}{y}_i)$
推导一个分母:
$$\begin{gathered} n(x_1^2+x_2^2+...+x_n^2)-(x_1+x_2+...+x_n{)}^2=n(x_1^2+x_2^2+...+x_n^2)-(n\overline{x}{)}^2 \\ =n[(x_1^2+x_2^2+...+x_n^2)-n{\overline{x}}^2]=n\sum (x_i^2-{\overline{x}}^2)=n\sum (x_i^2-2x_i\overline{x}+{\overline{x}}^2) \\ =n\sum (x_i-\overline{x}{)}^2 \end{gathered}$$
类似的，最终可以化称下面这个式子:
$$c=\frac{\sum (x_i-\overline{x})(y_i-\overline{y})}{\sum (x_i-\overline{x}{)}^2}$$
$$d=\overline{y}-c\overline{x}$$

最小二乘法合理性

这一节是尝试说明最小二乘法的合理性，它同统计理论的许多方法类似。
在贝叶斯线性最小均方估计中,假设估计量和观测向量是线性关系，即:$\hat{Y}=aX+b$.求得的线性最小均方估计为:
$$\hat{\Theta }=\frac{cov(Y,X)}{{\sigma }_X^2}(X-{\mu }_X)+{\mu }_Y$$
即$$a=\frac{cov(Y,X)}{{\sigma }_X^2},b={\mu }_Y-a{\mu }_X$$
由于不知道$(X,Y)$的分布，如果用样本均值代替上式中的分布参数:
${\mu }_X=\overline{x},{\mu }_Y=\overline{y}$
$cov(X,Y)=E[(X-{\mu }_X)(Y-{\mu }_Y)]=\sum [(x_i-\overline{x})(y_i-\overline{y})]/n$
${\sigma }_X^2=[\sum (x_i-\overline{x}{)}^2]/n$
则
$$a=\frac{\sum [(x_i-\overline{x})(y_i-\overline{y})]}{\sum (x_i-\overline{x}{)}^2}$$
可见最小二乘法和线性最小均方估计是类似的。

贝叶斯线性回归

线性回归是一种方法，用线性关系拟合两个量之间的关系，其特点是观测量到拟合直线的距离的平方和最短。所以无论是经典统计推断还是贝叶斯统计推断，凡是要求这种拟合关系的场合，都可以运用线性回归。

多元线性回归

多元线性回归的公式，比一元复杂得多。结合最小二乘法和矩阵的知识，则相对容易求解。常见思路:$y=a+a_1{x}_1+a_2{x}_2+a_3{x}_3$,先考虑能否求得$x_2=h_2(x_1),x_3=h_3(x_1)$,这样就能使多远线性规划问题化为一元线=线性回归问题。

非线性回归

非线性回归通常没有闭合式解，对于具体问题需要具体的应对方法。

线性规划注意事项

在解决实际问题问题时，线性回归分析需要考虑以下问题:

• 异方差性。实际问题中观测值的分布的方差可能具有很大的差异性，这样方差很大的观测值对于参数估计将造成不恰当的影响，适当的补救办法是采用加权最小二乘准则。
• 非线性。实际问题并非近似线性关系，用线性回归处理就不合适量。
• 多重共线性。如果有真实关系:$y=2x+1,z=x$，那么对于$y=ax+bz+c$,就无法区分$x,z$对$y$的贡献。
• 过度拟合。用8次多项式拟合8个数据点，显然这是不合适的。经验:数据点的数量应当是待估参数的5～10倍.
• 线性关系不是因果关系，而只是说明相关性。

简单假设检验

假如未知参数$\theta$只有两种取值$\{{\theta }_0,{\theta }_1\}$,假设检验就是判断接受哪一种假设，分别设为$\{H_0,H_1\}$.
现将观测向量$X$的空间分为两类:1.拒绝域$R$：若$X\in R$,则认定$H_0$为假，拒绝；2.接受域$R^c$.

• 第一类错误:错拒.即$H_0$正确而拒绝.$\alpha (R)=P(X\in R;H_0)$
• 第二类错误:受假.$H_0$错误而接受。$\beta (R)=P(X\notin R;H_1)$
• 似然比:两种假设情形下概率的比值():
  $$L(x)=\frac{p_X(x;H_1)}{p_X(x;H_0)}$$
  似然比的临界值需要根据问题来适当选取。
  举例子说明。

---

现在想检验一骰子是否六面均匀，给出两个假设:
$H_0$:骰子均匀。$p_X(x;H_0)=1/6$.
$H_1$:骰子不均匀。$p_X(x;H_1)=\{\begin{array}{l}1/4,x=1,2\\ 1/8,x=3,4,5,6\end{array}$
1.先计算似然比函数:
$L(x)=\{\begin{array}{l}3/2,当x=1,2\\ 3/4,当x=3,4,5,6\end{array}$
2.现在要选取临界值$\xi$.临界值会影响拒绝域$R$。
当$L(x)>\xi$时,更倾向于$H_1$，即拒绝$H_0$；
当$L(x)<\xi$时,更倾向于$H_0$，即接受$H_0$。
对这个问题似然比$L(x)$只有两个值,如果取$\xi <3/4$，那么$L(x)>\xi$总是成立的，即拒绝$H_0$.如果取$\xi >3/2$，那么$L(x)<\xi$总是成立的，即接受$H_0$.当$\xi$在这两个范围时,拒绝域不依赖于观测值，这是不合适的。所以$\xi$选取区间为$[3/4,3/2]$.
用错误类型描述上述分析:
第一类错误($H_0$真,而拒绝。即拒绝$H_0$的概率)
$\alpha (\xi )=\{\begin{array}{l}1,当\xi <3/4\\ \frac{1}{3},当3/4<\xi <3/2\\ 0,当\xi >3/2\end{array}$
第二类错误($H_0$假,而接受.即接受$H_0$的概率)
$\beta (\xi )=\{\begin{array}{l}0,当\xi <3/4\\ 1/2,当3/4<\xi <3/2\\ 1,当\xi >3/2\end{array}$
这里$\xi$的选取，犯第一类错误和犯第二类错误的概率是此消彼长的关系。由于这种平衡存在，没有一种最优的方法选取$\xi$.下面是一种常见的方法。
3.选取$\xi$

• 确定错误拒绝$H_0$的目标概率$\alpha$
• 选择$\xi$使得$P(L(x)>\xi ;H_0)=\alpha$.
• 观测$x$的值，若$L(x)>\xi$则拒绝$H_0$
• $\alpha$的典型值是:0.1,0.01,0.05

---

内曼-皮尔逊引理

内容:现有确定的似然比临界值$\xi$(同时确定了拒绝域$R$)，使得犯两类错误的概率分别为:
$P(H_1;H_0)=P(L(x)>\xi ;H_0)=\alpha$
$P(H_0;H_1)=P(L(x)<\xi ;H_1)=\beta$
则：
如果有另一个拒绝域使得:
$P(H_1;H_0)=P(L(x)>\xi ;H_0)\le \alpha$,则会有$P(H_0;H_1)=P(L(x)<\xi ;H_1)\ge \beta$.

这个引理是说在假设检验中，如果减少犯第一类错误的概率(错误拒绝),那么就会增大犯第二类错误的概率(错误接受).

考虑假设检验的过程,如果$H_0$真假的概率已确定，减少犯第一类错误的概率就是更加倾向于接受$H_0$,所以很自然地，错误接受的概率会相应增大。

显著性检验

当假设检验问题中的可供选择的结果多于2个时，简单假设检验的方法不再适用，“显著性检验”就是为了处理这类问题。“显著性检验”没有确定的解决办法，基本思想是对于一个"假设"，找“证据”去“支持/反驳"该假设。
虽然可供选择的结果多余2个，但我们关心的是某一个假设，即原假设$H_0$.我们根据观测向量X,决定接受还是拒绝$H_0$.此时相对于原假设的反面，是备择假设$H_1$:即$H_0$不正确.

---

举例:投掷一枚硬币n=1000次,每次投掷互相独立，$\theta$是硬币朝上的概率，现有原假设$\theta =0.5$,备择假设$\theta ̸=0.5$.
解决流程:

1. 选择合适统计量$S$表达观测数据:$S=g(X_1,X_2,...,X_n)$
   此处$S$可以选择$S=x_1+x_2+...+x_n,x_i\in \{0,1\}$

2. 确定拒绝域$R$
   当$S$落入拒绝域$R$时拒绝$H_0$.当然集合$R$是跟目前未知的临界值$\xi$有关的.这里拒绝域可定为:$|S-500|>\xi$

3. 选择显著性水平:第一类错误的概率$P(接受H_1;H_0为真)=\alpha$
   此处选择$\alpha =0.05$

4. 选择临界值$\xi$
   可用正态分布近似二项分布,在$H_0$的条件下(S-500)服从参数为$(0,250)$，
   $P(|S-500|>\xi ;H_0)=0.05,\Phi (1.96)=1-0.25=0.975$
   $\frac{\xi -0}{\sqrt{250}}=1.96,\xi =31$

如果观测到$S=472,|S-500|=28<\xi$,则可以说:在5%的显著性水平下不拒绝假设$H_0$.这里5%的意思是该论断犯错误的概率小于5%.“不拒绝”隐含的意思是只倾向于不拒绝，而不是接受。虽然在数学上两者是一个意思。但在这里显然$\theta =0.499999,0.499999,0.499999999$都是可以接受的,不能人为接受其中一个就代表其他的都拒绝。这说明原假设可认为代表一个小的范围，在这个范围里面的取值都是可以的。类似于置信区间的味道。

---

广义似然比和拟合优度检验

问题：检验给定的分布列是否和观测数据一致，这类问题称为"拟合优度检验"。
给定离散随机变量X的分布列为$P(X=k)=q_X(k)$,则可以认为这类问题的原假设为(接受分布列):
$H_0:p_X=(q_X(1),q_X(2),...,q_X(n))$
$H_1:P̸=(q_X(1),q_X(2),...,q_X(n))$
现在为了对$H_0$进行判断，采用"广义似然比"的方法。“广义似然比”就是假设$H_1$为最大似然估计:
$H_1:P=({\hat{\theta }}_1,{\hat{\theta }}_2,...,{\hat{\theta }}_n)$,其中${\hat{\theta }}_i$是$p_X(k)$的最大似然估计.

这里用$q_X(k)$表示这是一条假设的分布列，用以区分X的真实分布列$p_X(k)$.

广义似然比为：
$$\frac{P(X=x_1,x_2,...,x_n;q)}{P(X=x_1,x_2,...,x_n;\hat{\theta })}$$
通常采用对数的方法，可以简化计算。