F分布

F分布

设随机变量$X_1\sim {\chi }^2(m),X_2\sim {\chi }^2(n)$, $X_1$ 与 $X_2$独立，则称$F=\frac{X_1/m}{X_2/n}$的分布是自由度为m和n的$F$分布，$F\sim F(m,n)$. $F$分布的密度函数可根据独立随机变量商的分布的密度函数的公式与巧妙的变量代换求出。

1 两个正态总体方差比的$F$检验

$X\sim N({\mu }_1,{\sigma }_x^2),Y\sim N({\mu }_2,{\sigma }_y^2)$, 从总体$X$中抽取 $x_1,x_2,...,x_{n_1}$, 样本方差记为$s_x^2$, 从总体$Y$中抽取$y_1,y_2,...,y_{n_2}$, 样本方差记为 $s_y^2$. 则有:
$$\frac{(n_1-1)s_x^2}{{\sigma }_x^2}\sim {\chi }^2(n_1-1)\frac{(n_2-1)s_y^2}{{\sigma }_y^2}\sim {\chi }^2(n_2-1)$$
从而有：
$$F=\frac{s_x^2/{\sigma }_x^2}{s_y^2/{\sigma }_y^2}\sim F(n_1-1,n_2-1).$$

这个统计量可以用来检验两个正态总体的方差是否相等：
$$H_0:{\sigma }_x^2={\sigma }_y^2{H}_1:{\sigma }_x^2̸={\sigma }_y^2$$
在原假设成立的情况下，统计量变为：
$$F_0=\frac{s_x^2}{s_y^2}\sim F(n_1-1,n_2-1).$$
在把显著性水平设为$\alpha$时，拒绝域为：$$W=\{F_0\le F_{\frac{\alpha }{2}}(n_1-1,n_2-1)or{F}_0\ge F_{1-\frac{\alpha }{2}}(n_1-1,n_2-1)\}$$

2 组间比较的方差分析

在进行两组间的均值比较时，通常使用t检验，当进行多组间的均值比较时，通常使用F检验。方差分析有：

• 多个独立样本均数的比较(单因子多水平)
• 多个相关样本均数的比较(单因子多水平)
• 多个样本均数的多重比较(单因子多水平)
• 多因素资料的方差分析
• 协方差分析

下面以多个独立样本均数的比较作为例子，说明$F$统计量的构造过程。

因子$M$的水平	样本值	样本均值	样本方差	总体均值
$M_1$	$x_{11}{x}_{12}......x_{1n_1}$	${\overline{x}}_1$	$s_1^2$	${\mu }_1$
$M_2$	$x_{21}{x}_{22}......x_{2n_2}$	${\overline{x}}_2$	$s_2^2$	${\mu }_2$
$⋮$	$⋮⋮......⋮$	$⋮$	$⋮$	$⋮$
$M_r$	$x_{r1}{x}_{r2}......x_{r{n}_r}$	${\overline{x}}_r$	$s_r^2$	${\mu }_r$
	$N=\sum _{i=1}^r{n}_i$	$\overline{x}=\sum _{i=1}^r\frac{1}{n_i}{\overline{x}}_i$		$\mu =\sum _{i=1}^r\frac{1}{n_i}{\mu }_i$

因子$M$有 r 个水平，现在需要检验这 r 个水平的均值是否相等，可以将这 r 个水平上抽取的样本看作是从 r 个总体上抽取的样本， 即$X_i\sim N({\mu }_i,{\sigma }^2)$，原假设为：
$$H_0:{\mu }_1={\mu }_2=...={\mu }_r$$
来自总体$X_i$的第$j$次实验结果记为$x_{ij}$,则有：
$$x_{ij}={\mu }_i+{ϵ}_{ij}$$
这里的 $x_{ij}$ 被看作是一个随机变量，假设各 ${ϵ}_{ij}$ 之间互相独立，且都服从$N(0,{\sigma }^2)$.

$M_i$ 的水平效应为：
$$m_i={\mu }_i-\mu$$
则可以建立模型：
$$f(x)=\{\begin{array}{r}{x}_{ij}=\mu +m_i+{ϵ}_{ij},\\ \sum _{i=1}^r{m}_i=0,\\ 各{ϵ}_{ij}之间互相独立，且都服从N(0,{\sigma }^2).\end{array}$$
原假设可以改写为：
$$H_0:m_1=m_2=...=m_r=0$$
则在原假设成立的条件下，统计量$F_0$可以如下构造：
$$S{S}_{组间}=\sum _{i=1}^r{n}_i({\overline{x}}_i-\overline{x}{)}^{2}d{f}_{组间}=r-1$$
$$S{S}_{组内}=\sum _{i=1}^r\sum _{j=1}^{n_i}(x_{ij}-{\overline{x}}_i)d{f}_{组内}=N-r$$
$$S{S}_{总}=\sum _{i=1}^r\sum _{j=1}^{n_i}(x_{ij}-\overline{x}{)}^{2}d{f}_{总}=N-1$$
统计量$F_0$为：
$$F_0=\frac{S{S}_{组间}/d{f}_{组间}}{S{S}_{组内}/d{f}_{组内}}\sim F(r-1,N-r)$$
证明：
由于$x_{ij}=\mu +m_i+{ϵ}_{ij}$, 在原假设成立时，有$x_{ij}\sim N(\mu ,{\sigma }^2)$，即$\frac{x_{ij}-\mu }{\sigma }\sim N(0,1)$.

下面将组内偏差和组间偏差全部用随机误差项与水平效应表示：

$${\overline{x}}_i=\frac{1}{n_i}\sum _{j=1}^{n_i}{x}_{ij}=\frac{1}{n_i}\sum _{j=1}^{n_i}({\mu }_i+{ϵ}_{ij})={\mu }_i+{\overline{ϵ}}_i$$

$$x_{ij}-{\overline{x}}_i={\mu }_i+{ϵ}_{ij}-({\mu }_i+{\overline{ϵ}}_i)={ϵ}_{ij}-{\overline{ϵ}}_i$$

$${\overline{x}}_i-\overline{x}={\mu }_i+{\overline{ϵ}}_i-\sum _{i=1}^r\frac{1}{n_i}{\overline{x}}_i={\mu }_i+{\overline{ϵ}}_i-\sum _{i=1}^r\frac{1}{n_i}({\mu }_i+{\overline{ϵ}}_i)$$

$$={\mu }_i+{\overline{ϵ}}_i-(\mu +\overline{ϵ})=m_i+{\overline{ϵ}}_i-\overline{ϵ}$$

然后可以写出用随机误差项与水平效应表示的组间平方和与组内平方和：

$$S{S}_{组间}=\sum _{i=1}^r{n}_i({\overline{x}}_i-\overline{x}{)}^2=\sum _{i=1}^r{n}_i(m_i+{\overline{ϵ}}_i-\overline{ϵ}{)}^2$$
$$S{S}_{组内}=\sum _{i=1}^r\sum _{j=1}^{n_i}(x_{ij}-{\overline{x}}_i{)}^2=\sum _{i=1}^r\sum _{j=1}^{n_i}({ϵ}_{ij}-{\overline{ϵ}}_i{)}^2$$

前面介绍t分布的时候证明过：

$\overline{x}$和$s^2$独立 ($\overline{x}$只与$y_1$有关，$s^2$只与$y_2,...,y_n$有关)

所以 ${\overline{ϵ}}_i$ 与 $\sum _{j=1}^{n_i}({ϵ}_{ij}-{\overline{ϵ}}_i{)}^2$独立, 又由于${ϵ}_{ij}$互相之间的独立性，有：
$${\overline{ϵ}}_1,{\overline{ϵ}}_2,...,{\overline{ϵ}}_r\perp \sum _{i=1}^r\sum _{j=1}^{n_i}({ϵ}_{ij}-{\overline{ϵ}}_i{)}^2$$

$${\overline{ϵ}}_1,{\overline{ϵ}}_2,...,{\overline{ϵ}}_r\to \sum _{i=1}^r{n}_i(m_i+{\overline{ϵ}}_i-\overline{ϵ}{)}^2$$

所以$S{S}_{组间}与S{S}_{组内}$独立。

接下来看组间平方和的分布：

在$H_0$成立的条件下，$S{S}_{组间}=\sum _{i=1}^r{n}_i(m_i+{\overline{ϵ}}_i-\overline{ϵ}{)}^2=\sum _{i=1}^r{n}_i({\overline{ϵ}}_i-\overline{ϵ}{)}^2$，再用上定理#，

定理#：对于${ϵ}_{ij}\sim N(0,{\sigma }^2)$ ,   ~   有$\frac{1}{n_i}\sum _{j=1}^{n_i}{ϵ}_{ij}={\overline{ϵ}}_i\sim N(0,\frac{{\sigma }^2}{n_i})$

就可以得到：
$$\frac{S{S}_{组间}}{{\sigma }^2}=\sum _{i=1}^r{n}_i(\frac{{\overline{ϵ}}_i-\overline{ϵ}}{\sigma }{)}^2=\sum _{i=1}^r(\frac{{\overline{ϵ}}_i-\overline{ϵ}}{\sigma /{\sqrt{n}}_i}{)}^2=\frac{(r-1)s_{{\overline{ϵ}}_i}^2}{{\sigma }^2/n_i}\sim {\chi }^2(r-1)$$

接下来看组内平方和的分布：

根据$\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$ 可得:$$\sum _{j=1}^{n_i}(\frac{{ϵ}_{ij}-{\overline{ϵ}}_i}{\sigma }{)}^2=\frac{(n_i-1)s_{{ϵ}_{ij}}^2}{{\sigma }^2}\sim {\chi }^2(n_i-1)$$
再由${\chi }^2$分布的可加性得：
$$\frac{S{S}_{组内}}{{\sigma }^2}=\sum _{i=1}^r\sum _{j=1}^{n_i}(\frac{{ϵ}_{ij}-{\overline{ϵ}}_i}{\sigma }{)}^2\sim {\chi }^2(N-r)$$
所以：
$$F_0=\frac{S{S}_{组间}/d{f}_{组间}}{S{S}_{组内}/d{f}_{组内}}=\frac{\frac{S{S}_{组间}}{{\sigma }^2}/r-1}{\frac{S{S}_{组内}}{{\sigma }^2}/N-r}\sim F(r-1,N-r)$$
证明完毕。