【多元统计分析】09.独立性检验与正态性检验

九、独立性检验和正态性检验

1.独立性检验

独立性检验，指的是将一个多元总体$X\sim N_p(\mu ,\Sigma )$划分成$k$个部分，探究每个部分之间是否独立的问题，这样做的好处是显而易见的，如果一个总体$X$可以划分成多个独立的部分，那么只需要对每一个部分分开讨论即可，无疑降低了运算量。在多元统计中，可以视为有如下分解：
$$X=\left[\begin{array}{c}{X}^{(1)}\\ ⋮\\ X^{(k)}\end{array}\right],\mu =\left[\begin{array}{c}{\mu }^{(1)}\\ ⋮\\ {\mu }^{(k)}\end{array}\right],\Sigma =\left[\begin{array}{ccc}{\Sigma }_{11}& \cdots & {\Sigma }_{1k}\\ ⋮& & ⋮\\ {\Sigma }_{k1}& \cdots & {\Sigma }_{kk}\end{array}\right].$$
每一个分向量$X^{(t)}$都是$p_t$维的，对应的${\mu }^{(t)}$也是$p_t$维的，${\Sigma }_{tt}$是$p_t\times p_t$的。在多元正态分布的介绍中提到，如果$X^{(1)},\cdots ,X^{(k)}$是独立的，那么${\Sigma }_{ij}=O$对任何$i\ne j$都成立，反之也成立，因此在正态总体下，假设检验就变成了以下的形式：
$$H_0:\forall i\ne j,{\Sigma }_{ij}=O\iff H_1:\exists i\ne j,{\Sigma }_{ij}\ne O.$$
由于样本均值、样本离差阵是对总体均值、自协方差矩阵的估计，因此我们也可以对样本均值和样本离差阵作同型分解。如果$H_0$成立，则$X_{(\alpha )}^{(t)}\sim N_p({\mu }^{(t)},{\Sigma }_{tt})$且相互独立，那么似然函数就是
$$L(\mu ,\Sigma )=\prod _{t=1}^k{L}_t({\mu }^{(t)},{\Sigma }_{tt}),$$
取最大值的情况显然是${\mu }^{(t)}={\bar{X}}^{(t)},{\Sigma }_{tt}=A_{tt}/n$，所以似然比统计量的分子是
$$\begin{array}{rl}& \prod _{t=1}^n(2\pi {)}^{-n{p}_t/2}|A_{tt}/n{|}^{-n/2}\exp \left\{-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}^{(t)}-{\bar{X}}^{(t)}{)}^{\prime }{\left(\frac{A_{tt}}{n}\right)}^{-1}(X_{(\alpha )}^{(t)}-{\bar{X}}^{(t)})\right\}\\ =& (2\pi {)}^{-np/2}\exp \left\{-\frac{1}{2}\sum _{\alpha =1}^n(X_{(\alpha )}-\bar{X}{)}^{\prime }{\left(\frac{A}{n}\right)}^{-1}(X_{(\alpha )}-\bar{X})\right\}\prod _{t=1}^k{\left|\frac{A_{tt}}{n}\right|}^{-n/2}.\end{array}$$
这里的转换可以用之前常用的迹变换得出。观察分子与分母，发现其大部分是相同的，所以得到似然比统计量为
$$\lambda =\frac{{\prod }_{t=1}^k|A_{tt}/n{|}^{-n/2}}{|A/n{|}^{-n/2}}={\left(\frac{|A|}{{\prod }_{t=1}^n|A_{tt}|}\right)}^{n/2}\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{V}^{n/2}.$$
所以我们取检验统计量为
$$V=\frac{|A|}{{\prod }_{i=1}^k|A_{tt}|}.$$
并且有结论保证，在$H_0$成立的条件下，$-b\ln V\stackrel{H_0}{\to }{\chi }^2(f)$，这里
$$\begin{gathered} b=n-\frac{3}{2}-\frac{p^3-{\sum }_{t=1}^k{p}_t^3}{3(p^2-{\sum }_{t=1}^k{p}_t^2)}, \\ f=\frac{1}{2}\left[p(p+1)-\sum _{t=1}^k{p}_t(p_t+1)\right]. \end{gathered}$$
事实上$-b\ln V$是$-2\ln \lambda$的近似，故$b$也是$n$的近似，而$f$就是两个参数空间的维度之差。

2.一元数据正态性检验

回顾我们之前提到的假设检验，包括均值向量、自协方差矩阵、独立性的检验，都基于一个前提——总体是多维正态分布，如果这个正态性不满足，与三大分布相关的统计量转化、似然比统计量的表现形式都将不同于此形式，从而无法应用已有的结论。因此，本节探讨样本的正态性检验，概括起来就是，给定$n$个$p$维样本$X_{(\alpha )}$，判断总体$X$是否服从$N_p(\mu ,\Sigma )$分布。

多元数据的正态性检验问题，常常转化为多个一元或二元数据的正态性检验，或者先求$X$的分量的线性组合再化为一元数据的正态性检验等。虽然我们知道，边缘分布的正态性不能推出总体分布的正态性，但是在实际应用中，这种情况并不常见，所以我们可以先将目光放在一元数据的正态性检验。

常用于一元数据检验的方法有Pearson ${\chi }^2$检验法（比较适合离散情形）、Kolmogorov检验法（比较适合连续情形），不过在Kolmogorov检验中我们需要得知总体的参数，即均值和方差，在实际应用中这个条件很难满足，所以我们会使用总体均值和总体方差代替，这就是Lilliefors检验。

还有一些仅适用于正态分布的检验法：偏度峰度检验法，Q-Q图和P-P图检验法、Anderson-Darling统计量检验法、Cramer-von Mises统计量检验法等。

偏度峰度法指的是，计算样本偏度和样本峰度：
$$G_1=\frac{\sum (X_i-\bar{X}{)}^3}{[\sum (X_i-\bar{X}{)}^2{]}^{3/2}},G_2=\frac{\sum (X_i-\bar{X}{)}^4}{[\sum (X_i-\bar{X}{)}^2{]}^2},$$
在正态性成立时，近似有
$$\begin{gathered} G_1\sim N\left(0,\frac{6(n-2)}{(n+1)(n+3)}\right), \\ {G}_2\sim N\left(3-\frac{6}{n-1},\frac{24n(n-2)(n-3)}{(n+1{)}^2(n+3)(n+5)}\right). \end{gathered}$$
很容易用Z检验找到其拒绝域。

Q-Q(Quantile Quantile)图检验法是一种图示检验法，绘制$(q_i,x_{(i)}^{\ast })$散点图，这里$q_i={\Phi }^{-1}(p_i)$是样本的$p_i$分位数，$x_{(i)}^{\ast }$是样本的$p_i$分位数，如果$X$是一元正态总体，则这些散点应该散布在一条直线上。P-P图检验法也是图示检验，绘制的数据点是$(p_i,F(x_{(i)}^{\ast }))$，其中$p_i$是经验分布函数$F_n(x)$在$x_{(i)}^{\ast }$上的值，$F(x_{(i)}^{\ast })$是$\Phi (x)$在$x_{(i)}^{\ast }$上的值。在实际应用Q-Q图检验和P-P图检验时，$x_{(i)}^{\ast }$要先选好。

Anderson-Darling $A^2$检验（AD检验）的检验统计量是
$$A^2=n{\int }_{-\infty }^{\infty }\frac{(F_n(x)-\Phi (x){)}^2}{\Phi (x)(1-\Phi (x))}\mathrm{d}\Phi (x),$$
这里$[\Phi (x)(1-\Phi (x)){]}^{-1}$是权重函数，如果权重函数取$1$，就得到Cramer-von Mises $W^2$检验的检验统计量
$$W^2=n{\int }_{-\infty }^{\infty }(F_n(x)-\Phi (x){)}^2\mathrm{d}\Phi (x).$$
结合Kolmogorov-Smirnov统计量$D=\sup |F_n(x)-\Phi (x)|$，这三个统计量都是原假设成立时不能过大的，依赖于一个概率表值来检验原假设是否应该被接受。不过，这三种检验方式适用于各种假设检验，只要将表达式中的$\Phi (x)$换成对应的分布函数即可。

3.多元数据的正态性检验

对于二元数据，存在一种粗糙的检验方法：等概椭圆检验法。其理论基础是二维随机向量$X$如果来自于正态总体，则其概率密度函数等高线应该是一个椭圆，即$X\sim N_2(\mu ,\Sigma )$时，应有
$$f(x_1,x_2)=a\iff (X-\mu {)}^{\prime }{\Sigma }^{-1}(X-\mu )=b^2.$$
所以我们计算二元数据$X_{(i)}$到$\bar{X}$的马氏距离$D_i=(X_{(i)}-\bar{X}{)}^{\prime }{S}^{-1}(X_{(i)}-\bar{X})$，在给定数值$p_0$下，$D_i\le p_0$的频率应该和某一个定值比较接近，这个定值可以通过查表获得。由于这是一种比较粗糙的方法，我们在实际应用中会使用更为正式的方法。

现在介绍$p$维数据${\chi }^2$统计量的Q-Q图检验法，我们将假设确定为参数已知的，即
$$H_0:X\sim N_p(\mu ,\Sigma )\iff H_1:X\nsim N_p(\mu ,\Sigma ).$$
由于在正态性假设$H_0$成立的前提下，样本$X$到中心$\mu$的马氏距离存在以下关系：
$$D^2=(X-\mu {)}^{\prime }{\Sigma }^{-1}(X-\mu )\sim {\chi }^2(p),$$
所以我们可以直观地想到验证样本的马氏距离是否具有这样的关系。因此，我们计算样本$X_{(\alpha )}$到$\mu$的马氏距离$D_{\alpha }^2=(X_{(\alpha )}-\mu {)}^{\prime }{\Sigma }^{-1}(X_{(\alpha )}-\mu )$，并对$D_{\alpha }^2$进行排序得到次序统计量$D_{(\alpha )}$，计算其经验分布函数，这样有了经验分布函数与${\chi }^2(p)$分布的分布函数后，就可以绘制Q-Q图或者P-P图。

在实际应用中，我们往往不知道$\mu ,\Sigma$的值，所以会用样本均值$\bar{X}$和样本协方差阵$A/(n-1)$代替，得到的Q-Q图或P-P图应该是一条通过原点、斜率为1的直线，如果是这样，就可以接受正态性假设，否则应当拒绝。

回顾总结

1. 正态总体的独立性检验，我们一般会取检验统计量为
   $$V=\frac{|A|}{{\prod }_{t=1}^k|A_{tt}|}.$$
   当$n\to \infty$时，有$-b\ln V\to {\chi }^2(f)$，这里
   $$\begin{gathered} b=n-\frac{3}{2}-\frac{p^3-{\sum }_{t=1}^k{p}_t^3}{3(p^2-{\sum }_{t=1}^k{p}_t^2)}, \\ f=\frac{p(p+1)}{2}-\sum _{t=1}^k\frac{p_k(p_k+1)}{2}. \end{gathered}$$

2. 一元总体的正态性检验有很多方法，如K-S检验、A-D检验、Cramer-von Mises检验，但K-S检验的效果一般，A-D检验的效果比较好，其检验统计量是
   $$A^2=n{\int }_{-\infty }^{\infty }\frac{(F_n(x)-\Phi (x){)}^2}{\Phi (x)(1-\Phi (x))}\mathrm{d}\Phi (x).$$

3. Q-Q图是分位数图，首先选定一组分位数间隙$x_{(i)}^{\ast }$，然后在样本中寻找相应分位数，在总体中也寻找相应分位数，将分位数绘制成散点图，观察其是否位于一条直线上。

4. P-P图是累计分布图，首先选定一组分位数间隙$x_{(i)}^{\ast }$，然后绘制经验分布函数与总体分布函数在$x_{(i)}^{\ast }$处的取值，将两个取值绘制成散点图，观察其是否位于一条直线上。

5. 多元总体的正态性检验采用${\chi }^2$统计量的Q-Q图检验法，计算样本到中心$\bar{X}$的马氏距离并排序，用Q-Q图判断是否属于${\chi }^2(p)$分布，或用K-M检验法。马氏距离的定义如下：
   $$D_{\alpha }=(X_{(\alpha )}-\bar{X}{)}^{\prime }{S}^{-1}(X_{(\alpha )}-\bar{X}).$$