UA MATH571A 一元线性回归III 方差分析与相关性分析

ANOVA Table

ANOVA（Analysis of Variance）是分析方差构成的常用方法。在前两篇中，我们定义过
$$SST=\sum _{i=1}^N(Y_i-\bar{Y}{)}^2$$
SST表示被解释变量Y的样本总离差平方和（或称总平方和），代表样本数据整体的信息含量，其自由度为$d{f}_T=N-1$。我们也定义过
$$SSE=\sum _{i=1}^N{e}_i^2=\sum _{i=1}^N(Y_i-{\hat{Y}}_i{)}^2$$
SSE是回归的残差平方和，代表无法被变量X解释的那部分信息量，自由度为$d{f}_E=N-2$。
$$\begin{gathered} SST-SSE=\sum _{i=1}^N[(Y_i-\bar{Y}{)}^2-(Y_i-{\hat{Y}}_i{)}^2] \\ =\sum _{i=1}^N[{\bar{Y}}^2+{\widehat{Y_i}}^2-2Y_i({\hat{Y}}_i-\bar{Y})] \\ =\sum _{i=1}^N[{\bar{Y}}^2+{\widehat{Y_i}}^2-2(Y_i-\bar{Y})({\hat{Y}}_i-\bar{Y})] \\ =\sum _{i=1}^N({\hat{Y}}_i-\bar{Y}{)}^2\triangleq SSR \end{gathered}$$
SSR是回归平方和，代表回归模型可以解释的那部分信息含量，自由度为$d{f}_R=1$。对于回归而言，只有两个回归系数贡献两个自由度，但存在约束${\sum }_{i=1}^N({\hat{Y}}_i-\bar{Y})=0$，所以减去一个自由度，只剩下一个自由度。将三个平方和做自由度修正，定义
$$MST=\frac{SST}{d{f}_T},MSR=\frac{SSR}{d{f}_R},MSE=\frac{SSE}{d{f}_E}$$
根据上述定义，可以写出下列方差分析表（ANOVA Table）

来源	SS	df	MS
回归	$SSR={\sum }_{i=1}^N({\hat{Y}}_i-\bar{Y}{)}^2$	1	$MSR=\frac{SSR}{d{f}_R}$
残差	$SSE={\sum }_{i=1}^N(Y_i-{\hat{Y}}_i{)}^2$	N-2	$MSE=\frac{SSE}{d{f}_E}$
总平方和	$SST={\sum }_{i=1}^N(Y_i-\bar{Y}{)}^2$	N-1	$MST=\frac{SST}{d{f}_T}$

F检验

回归系数的F检验

之前有说过MSE是方差的无偏估计，也就是$E(MSE)={\sigma }^2$。现在计算一下MSR的期望。
$$\begin{gathered} SSR=\sum _{i=1}^N({\hat{Y}}_i-\bar{Y}{)}^2=\sum _{i=1}^N[{\hat{\beta }}_0+{\hat{\beta }}_1{X}_i-({\hat{\beta }}_0+{\hat{\beta }}_1\bar{X}){]}^2={\hat{\beta }}_1^2\sum _{i=1}^N(X_i-\bar{X}{)}^2 \\ E({\hat{\beta }}_1^2)=Var({\hat{\beta }}_1)+[E({\hat{\beta }}_1){]}^2=\frac{{\sigma }^2}{{\sum }_{i=1}^N(X_i-\bar{X}{)}^2}+{\beta }_1^2 \\ E(MSR)=E(SSR)={\sigma }^2+{\beta }_1^2\sum _{i=1}^N(X_i-\bar{X}{)}^2 \end{gathered}$$
显然当${\beta }_1$等于0时，MSR也是方差的无偏估计，当${\beta }_1$不等于0时，MSR不是方差的无偏估计。考虑对系数的双边检验：
$$\begin{gathered} H_0:{\beta }_1=0 \\ {H}_a:{\beta }_1\ne 0 \end{gathered}$$
定义统计量
$$F^{\ast }=\frac{MSR}{MSE}$$
$SSR/{\sigma }^2$是标准正态随机变量的平方，由于自由度为1，因此服从${\chi }^2(1)$分布，所以根据F分布的定义，在原假设下，$F^{\ast }\sim (1,N-2)$。假设检验水平为$\alpha$，若$F^{\ast }\le F(1-\alpha ;1,N-2)$，接受原假设，若$F^{\ast }>F(1-\alpha ;1,N-2)$，拒绝原假设。

F检验与t检验等价

F检验与双边t检验等价，
$$F^{\ast }=\frac{MSR}{MSE}=\frac{SSR/1}{MSE}=\frac{{\hat{\beta }}_1^2{\sum }_{i=1}^N(X_i-\bar{X}{)}^2}{MSE}=\frac{{\hat{\beta }}_1^2}{s^2\{{\hat{\beta }}_1\}}=(t^{\ast }{)}^2$$
但由于F分布是单尾分布，因此与t检验不同，F检验只能做双边检验。

广义线性检验方法

完整的一元线性回归模型为FM（Full Model）：
$$Y_i={\beta }_0+{\beta }_1{X}_i+{ϵ}_i$$
其残差平方和为
$$SSE(FM)=\sum _{i=1}^N(Y_i-{\hat{Y}}_i{)}^2=\sum _{i=1}^N[Y_i-({\hat{\beta }}_0+{\hat{\beta }}_1{\hat{X}}_i){]}^2=SSE$$
在原假设下，${\beta }_1$等于0，完整的一元回归模型可以被简化为RM（Reduced Model）：
$$Y_i={\beta }_0+{ϵ}_i$$
残差平方和为
$$SSE(RM)=\sum _{i=1}^N(Y_i-{\hat{Y}}_i{)}^2=\sum _{i=1}^N(Y_i-{\hat{\beta }}_0{)}^2=\sum _{i=1}^N(Y_i-\bar{Y}{)}^2=SST$$
在这些设定下，可以将F检验推广。定义
$$F^{\ast }=\frac{SSE(RM)-SSE(FM)}{d{f}_{RM}-d{f}_{FM}}/\frac{SSE(FM)}{d{f}_{FM}}\sim F(d{f}_{RM}-d{f}_{FM},d{f}_{FM})$$
原假设为应该使用RM，备择假设为应该使用FM。

$R^2$

$R^2$表示能够用回归模型解释的那部分信息占总信息的比值，
$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$
$R^2$又叫可决系数，$R^2$越大代表回归模型越能解释被解释变量Y的变化情况，回归模型质量就越高。

数值例子：女性肌肉量与年龄的关系

我们最后再用这个例子来介绍一下做ANOVA的F检验的方法，关于这个例子已经完成的分析可以看前两篇博文。对线性模型lm()的输出结果使用anova()函数可以得到ANOVA Table，

> anova(Ex1.lm)

灰框中是ANOVA Table中的方差来源栏，红框中是自由度，黄框中是SS和MS。绿框中是F统计量和F检验的p值，根据这两个值可以判断回归系数${\beta }_1$是显著异于0的，说明回归有效，这与t检验的结果一致。在回归结果的汇总中，

红框内的是F统计量及其对应的自由度，黄框内是F检验的p值，这与ANOVA Table中的结果一致。简单计算可以发现${\beta }_1$的t统计量的平方等于F统计量，但t统计量可以有正负，而F统计量总是为正的，这是因为t分布是双尾分布，而F分布只有单尾。因此做单边检验时只能用t检验。蓝框内的值是$R^2$，这个值说明年龄可以解释女性肌肉量75%的变化。但要注意的是解释不代表因果，只是一个统计相关性。这个结果只能说明女性肌肉量的下降从统计上讲有75%与年龄增长有关，但不能证明女性肌肉量的下降有75%是年龄增长造成的。

相关性系数

在回归模型中，我们认为变量X的改变会引起变量Y的改变（称这种关系是统计上的因果关系），变量X被视为是常量，变量Y是随机变量。但在有的情况下，两个变量之间到底谁引起谁的改变很难说清楚，在这个时候可以做相关性分析（Correlation Analysis）分析两个变量的相关性而非统计因果，即假设待分析的两个变量均是随机变量。

假设$Y_1$与$Y_2$是两个随机变量，他们的相关性系数（Correlation Coefficients）为：
$$\rho =Corr(Y_1,Y_2)=\frac{Cov(Y_1,Y_2)}{\sqrt{Var(Y_1)Var(Y_2)}}$$
二元相关性分析的目标是估计这个相关性系数，并检验这个系数是否为零（双边检验）或者检验系数的符号（单边检验）。通常假设这两个变量服从二元正态分布，概率密度函数如下：
$$f(y_1,y_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp\{-\frac{1}{2(1-{\rho }^2)}[(\frac{Y_1-{\mu }_1}{{\sigma }_1}{)}^2-2\rho (\frac{Y_1-{\mu }_1}{{\sigma }_1})(\frac{Y_2-{\mu }_2}{{\sigma }_2})+(\frac{Y_2-{\mu }_2}{{\sigma }_2}{)}^2]\}$$
但这个表达式真的很长，定义$Y=[Y_1,Y_2{]}^T$，$\mu =[{\mu }_1,{\mu }_2{]}^T$,
$$\Sigma =\left\{\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right\}$$
可以将分布记作$Y\sim N(\mu ,\Sigma )$，概率密度函数可以写成：
$$f(Y)=\frac{1}{(2\pi {)}^{n/2}\sqrt{det\Sigma }}exp[-\frac{1}{2}(Y-\mu {)}^T{\Sigma }^{-1}(Y-\mu )]$$
假设现在我们有一组样本$\{(Y_{1i},Y_{2i}){\}}_{i=1}^N$，用最大似然法：
$$\begin{gathered} L(\mu ,\Sigma )=f({(Y_{1i},Y_{2i})}_{i=1}^N|\mu ,\Sigma )=\prod _{i=1}^{N}f(Y_{1i},Y_{2i}) \\ l(\mu ,\Sigma )=\sum _{i=1}^{N}lnf(Y_{1i},Y_{2i})=-\frac{1}{2(1-{\rho }^2)}\sum _{i=1}^N\{[(\frac{Y_1-{\mu }_1}{{\sigma }_1}{)}^2-2\rho (\frac{Y_1-{\mu }_1}{{\sigma }_1})(\frac{Y_2-{\mu }_2}{{\sigma }_2})+(\frac{Y_2-{\mu }_2}{{\sigma }_2}{)}^2]\}-Nln(2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}) \end{gathered}$$
最大化对数似然，即可求解出五个参数的最大似然估计。尽管形式有点复杂，但过程非常标准化。

PPMCC

PPMCC全称是Pearson交叉矩相关性系数（Pearson Product-Moment Correlation Coefficients），是相关性系数的最大似然估计：
$$r_{12}=\frac{\sum (Y_{1i}-{\bar{Y}}_1)(Y_{2i}-{\bar{Y}}_2)}{\sqrt{\sum (Y_{1i}-{\bar{Y}}_1{)}^2\sum (Y_{2i}-{\bar{Y}}_2{)}^2}}$$
但这个估计量并不是相关性系数的无偏估计，有兴趣的读者可以自己推一下。相关性分析可以看成是做如下检验：
$$\begin{gathered} H_0:\rho =0 \\ {H}_a:\rho \ne 0 \end{gathered}$$
下面我们推导这个检验要怎么做。由于二元正态分布的边缘分布仍然是正态分布，所以$Y_1$的边缘密度为
$$f(y_1)=\frac{1}{\sqrt{2\pi }{\sigma }_1}exp\{-\frac{(Y_1-{\mu }_1)}{2{\sigma }^2}\}$$
$Y_2$关于$Y_1$的条件密度为
$$f(y_2|y_1)=\frac{1}{\sqrt{2\pi (1-{\rho }^2)}{\sigma }_2}exp\{-\frac{(Y_2-{\mu }_2+{\mu }_1\rho \frac{{\sigma }_2}{{\sigma }_1}-\rho \frac{{\sigma }_2}{{\sigma }_1}{Y}_1)}{2{\sigma }_2^2(1-{\rho }^2)}\}$$
定义：
$$\begin{gathered} {\alpha }_{2|1}={\mu }_2-{\mu }_1\rho \frac{{\sigma }_2}{{\sigma }_1} \\ {\beta }_{21}=\rho \frac{{\sigma }_2}{{\sigma }_1} \\ {\sigma }_{2|1}={\sigma }_2^2(1-{\rho }^2) \end{gathered}$$
从而$E(Y_2|Y_1)={\alpha }_{2|1}+{\beta }_{21}{Y}_1$，在原假设下，${\beta }_{21}=0$，将${\beta }_{21}$视为$Y_2|Y_1$关于$Y_1$的回归系数，上面的检验可以视为：
$$\begin{gathered} H_0:{\beta }_{21}=0 \\ {H}_a:{\beta }_{21}\ne 0 \end{gathered}$$
构造t统计量
$$t^{\ast }=\frac{{\hat{\beta }}_{21}}{se(\widehat{{\beta }_{21}})}=\frac{r_{12}\sqrt{N-2}}{\sqrt{1-r_{12}^2}}\sim t(N-2)$$
基于该统计量可以完成对PPMCC的假设检验。

PPMCC的区间估计

因为PPMCC的分布在原假设不成立时非常复杂，因此采用下面的方法计算置信区间。对PPMCC做Fisher z变换：
$$z=\frac{1}{2}ln(\frac{1+r_{12}}{1-r_{12}})$$
不加证明地给出下列结果：当N足够大时（一般$N>25$即可），有以下渐进分布
$$z\sim N(\frac{1}{2}ln(\frac{1+{\rho }^2}{1-{\rho }^2}),\frac{1}{N-3})$$
由此可以构造Z统计量：
$$\frac{z-\frac{1}{2}ln(\frac{1+{\rho }^2}{1-{\rho }^2})}{1/\sqrt{N-3}}\sim N(0,1)$$
并可据此计算置信区间。

Spearman秩相关系数

当$Y_1$和$Y_1$不服从二元正态分布时，可以考虑将其变换成二元正态分布。但当很难找到合适的变换时，我们就不能使用上面的方法做相关性分析了。在$Y_1$和$Y_2$的联合密度未知或者比较复杂的时候可以考虑使用非参数方法。对于$Y_1$的一列观测值$\{Y_{11},Y_{21},...,Y_{N1}\}$，假设$Y_{i1}$按从大到小排第k个（$k=1,2,...,N$），记$R_{i1}=k$为第i个观察值的秩（rank）。对于$Y_1$和$Y_2$观测值的秩，定义Spearman秩相关系数（Spearman Rank Correlation Coefficients）：
$$r_S=\frac{\sum (R_{1i}-{\bar{R}}_1)(R_{2i}-{\bar{R}}_2)}{\sqrt{\sum (R_{1i}-{\bar{R}}_1{)}^2\sum (R_{2i}-{\bar{R}}_2{)}^2}}$$
其中${\bar{R}}_1={\bar{R}}_2=\frac{N+1}{2}$。同样考虑如下检验：
$$\begin{gathered} H_0:\rho =0 \\ {H}_a:\rho \ne 0 \end{gathered}$$
不加证明地给出统计量：
$$t^{\ast }=\frac{r_S\sqrt{N-2}}{\sqrt{1-r_S^2}}\sim t(N-2)$$
只要$N>10$就可认为上述统计量的渐进分布成立，并进行相关性分析。

数值例子：学历与犯罪率

这个例子的数据来源于Applied Linear Regression Models. Kutner et al 第一章二十八题。一项犯罪学的研究想要探索教育与犯罪率之间的关系，于是随机选取了84个中等规模的社区，并收集了社区居民持高中文化以上的人数占（Y2）以及社区犯罪率（Y1）。从直觉上讲，学历越高的社区居民素质越高，犯罪率就会越低。因此做假设检验：
$$\begin{gathered} H_0:\rho \ge 0 \\ {H}_a:\rho <0 \end{gathered}$$
先读取数据，由于犯罪率的数据是每十万人的犯罪次数，所以这里用犯罪率除以10万得到犯罪率

## Set work dictionary
setwd("D:\\Stat PhD\\semester1\\regression\\Notes\\Ch2")

## Read-in text data
Ex2 <- read.table("D:/Stat PhD/semester1/regression/Notes/Ch2/CH01PR28.txt", quote="\"", comment.char="")
Ex2 <- as.matrix(Ex2)
Y1 <- Ex2[,1]/100000
Y2 <- Ex2[,2]

假设检验水平为5%，用PPMCC做相关性分析

> alpha <- .05
> N <- length(Y1)
> r12 <- cor(Y1,Y2)
> r12
[1] -0.4127033
> t <- r12*sqrt(N-2)/sqrt(1-r12^2)
> t
[1] -4.102897
> t < -qt(1-alpha/2,N-2)
[1] TRUE
> p <- pt(t,N-2)
> p
[1] 4.785698e-05

PPMCC的估计值是-0.4127033，t检验统计量的值为-4.102897，小于$t(1-\alpha /2,N-2)$，这说明社区居民的学历与犯罪率呈显著的负相关。该检验的p值为0.00004785698。我们还可以计算出相关性系数的95%置信区间，为[-0.5761223,-0.217558]，显然95%置信区间在负半轴，说明t统计量整体分布都集中在负半轴。

> z = 0.5*( log(1+r12) - log(1-r12) )
> se = 1/sqrt( N-3 )
> zlwr = z - qnorm( 1-alpha/2 )*se
> zupr = z + qnorm( 1-alpha/2 )*se
> rholwr = (exp(2*zlwr)-1)/(exp(2*zlwr)+1)
> rhoupr = (exp(2*zupr)-1)/(exp(2*zupr)+1)
> c(rholwr, rhoupr)
[1] -0.5761223 -0.2175580

用Spearman秩相关做相关性分析。

> cor.test(Y1,Y2,method = "spearman",exact = F)

	Spearman's rank correlation rho

data:  Y1 and Y2
S = 140839, p-value = 5.359e-05
alternative hypothesis: true rho is not equal to 0
sample estimates:
       rho 
-0.4259324 

Spearman秩相关系数为-0.4259324，与PPMCC还是比较接近的，检验结果是接受备择假设，二者显著负相关，p值为5.539e-5。综合上面的分析，可以初步认为社区居民犯罪率与学历是负相关的。