大数据统计基础之F分布及其应用
- 1. F分布
- 1.1.
Z检验和t检验的局限性 - 1.2. 方差分析的含义与假设
- 1.3. 方差分析的过程
- 1.1.
- 2. F分布的应用——方差的同质性检验
- 2.1. 方差分析的基本原理
- 2.2. 方差分析的基本过程
- 3. F分布的应用——方差分析
- 3.1. 单因素方差分析的意义
- 3.2. 完全随机设计的方差分析
- 3.2.1. 完全随机设计
- 3.2.2. 完全随机设计的方差分析
- 4. 小结
1. F分布
研究A、B、C三种不同学校学生的阅读理解成绩找到一种解决的办法，有人可能会以为，只要多次使用Z检验或t检验，比较成对比较学校（或条件）即可。但是我们不会这样来处理。因为Z检验或t检验有其局限性。
1.1. Z检验和t检验的局限性
当研究中出现两个以上的平均数时，用Z检验和t检验会有以下一些不足。
- 1.比较的组合次数增多
如上所述，若把三所学校成对比较，则需对A校与B校，B校与C校，C校与A校做检验，这时我们所做的检验是三次而不是一次。如果一次研究10个学校，其检验数就会达到45个之多。事实上我们只需要一个可以让我们同时处理两种以上条件的单独检验。
- 2.降低可靠程度
因为对数据做得Z检验或t检验越多，我们更容易犯Ⅰ型错误。在一个检验中，α＝0.05，意味着有0.05的可能性犯Ⅰ型错误，即有1-α=0.95的概率不犯Ⅰ型错误。如果我们做两次检验，每次都为0.05的显著性水平，那么不犯Ⅰ型错误的概率就变为0.95×0.95＝0.90。此时犯Ⅰ型错误的概率则为1-0.90＝0.10，即至少犯一次Ⅰ型错误的概率翻了一倍。若做10次检验的话，至少犯一次Ⅰ型错误的概率将上升到0.40（1-0.952），而10次检验结论中都正确的概率只有60%。所以说采用Z检验或t检验随着均数个数的增加，其组合次数增多，从而降低了统计推论可靠性的概率，增大了犯错误的概率。
若想要若干检验的总显著性水平仍为0.05的话，一种做法就是为每一独立检验设置更为保守的显著性水平。譬如，若进行5次检验，为了使总的犯Ⅰ型错误的风险仍为0.05，则每一个独立检验的显著性水平需设为p＝0.01（因为1-0.99×0.99×0.99×0.99×0.99＝0.05）。另一种可替代的方法就是设计一种能使总显著性水平始终0.05的单一检验，即方差分析。
- 3.缺少综合或整体信息
两个以上的平均数检验中若仍采用Z检验或t检验都只提供了两个组所提供的信息，而忽略了其余的综合信息。然而在许多情况下这些被忽视的信息可能对检验结果产生更大的影响力。同时在十次检验之后所得到只是零散的信息，并非从总体来分析几种不同条件的效果，也难以获得几种不同条件的直接答案。
1.2. 方差分析的含义与假设
所谓方差分析（analysis of variance）就是对多个平均数进行比较的一种统计方法，又称变异数分析，即ANOVA。它与实验设计紧密相联，实验设计不同，方差分析的方法也有所不同。
以下三条假设在进行方差分析时是非常关键的。否则易产生错误的统计结论。
- 1.总体分布的正态性
方差分析与Z检验或t检验一样，也要求样本必须来自正态分布的总体。在心理与教育研究领域，大多数变量是可以假设其总体服从正态分布的。因此在一般进行方差分析时并不要求检验总体的正态性。
但是当我们有确实的证据证明总体分布不正态时，就需要对数据进行一些处理，譬如采用某种方式进行数据的转换，转换后的数据分布呈正态分布后再作方法分析，或者可进行非参数的方差分析。
- 2.各个实验组的方差齐性
方差分析要求各总体的方差或标准差相同。如若总体方差不一致，那么方差分析得出差异显著结论时就无法进行很好的回因分析。譬如，某校在实验班和普通班进行教学方法的实验，以新方法施教于实验班，以传统方法施教于普通班。实验结束后发现两班成绩差异非常显著，然而这种差异究竟是教法不同造成的，还是两班学生原有学习水平不同引起的，我们无法回答这个问题。因此，方差分析前需对各样本的方差做一致性检验，称方差齐性检验，只有满足了方差齐性的条件才可做方差分析。
- 3.变异具有加可性
变异具有可加性是方差分析中的又一重要假设。众所周知，影响事物的因素是多种多样的，方差分析是将事物的总变异分解为各个不同变异来源，分解后的各部分变异是相互独立，相加后又构成总变异。
1.3. 方差分析的过程
方差分析的过程有广义与狭义之分。广义的方差分析包括了方差的齐性检验，F检验和多重比较（逐对平均数的比较）。狭义的方差分析仅指F检验，其内容有建立假设、计算检验值（变异的平方和、自由度、均方和F值）、统计决策和制作方差分析表。
2. F分布的应用——方差的同质性检验
2.1. 方差分析的基本原理
假设从一个学习方法实验中抽取了9名被试的学习成绩，如表1所示。随后又抽取了9名被试的学习成绩，如表2所示。你能从这些数据发现什么问题吗？
表1：第1次抽取结果：
| 方法 | 学生实验成绩 | 学生实验成绩 | 学生实验成绩 | $\overline X $ | ${\overline X _{\rm{t}}}$ |
|---|---|---|---|---|---|
| A | 6 | 5 | 7 | 6 | |
| B | 11 | 9 | 10 | 10 | 7 |
| C | 5 | 4 | 6 | 5 |
表2：第2次抽取结果：
| 方法 | 学生实验成绩 | 学生实验成绩 | 学生实验成绩 | $\overline X $ | ${\overline X _{\rm{t}}}$ |
|---|---|---|---|---|---|
| A | 1 | 7 | 4 | 4 | |
| B | 6 | 2 | 8 | 6 | 5 |
| C | 3 | 6 | 5 | 6 |
首先，从以上数据可看出，不仅组与组之间存在不同，而且同一组内部也存在着不同。组与组之间的差异称组间变异（variation between classes），反映在各组的平均数不同。同一组内部被试（个体）之间的差异称组内变异（variation within class），反映在每一个人的分数不同。
其次，从组间变异看，表1的组间变异大于表2。如表1中A、B、C的组平均数与总平均数分别相差1、4、2分，表2中的三组平均数总平均差1分。
再次，从看组内变异看（各组原始分与组平均数比较），表1各组原始分与组平均基本差1分，表2各组原始分与组平均数最大有4分之差。
综上所述，表1组间变异较大而组内变异较小，表2组间变异较小而组内变异较大。可见，组间变异的大小与组内变异的大小并非正比关系。这一现象表明，如果组间变异相对较大，而组内变异相对较小，则各组平均数的变异越明显，即若组间变异与组内变异的比率越大，各组平均数的差异越大。因此，通过组间变异和组内变异比率大小来推论几个相应平均数差异显著性的思想就是方差分析的逻辑依据或基本原理。所以说，方差分析是将实验中的总变异分解为组间变异和组内变异，并通过组间变异和组内变异比率的比较来确定影响实验结果因素的数学方法，其实质是以方差来表示变异的程度。
在方差分析中，引起组间变异的主要原因是实验者所施加的实验条件和随机误差，这种随机误差是由于一些偶然因素引起的。引起组内变异的主要原因则是被试间的个体差异和实验误差等，也属随机因素的影响，因此也可看作是一种随机误差。
总变异的分解：
总变异 = 组间变异+组内变异
组间变异 = 实验条件 + 随机误差
组内变异 = 个体差异 + 实验误差 。组内误差都是随机误差。
如果组间与组内变异均为随机误差时，二者的比率为1，即实验因素的影响较小，由此推论总变异不存在差异。当二者的比率较大时，则实验因素产生影响的可能性增大。
2.2. 方差分析的基本过程
- 1.各变异的内容与表达
根据各变异的关系及方差分析可加性的特点，有:
总变异 = 组间变异 + 组内变异
变异（Variance，用V表示）即方差（S2），又称均方差或均方（Mean Square，MS），其公式为：
$$ {S^2}({\rm{or}}V,orMS) = \frac{{\sum {{(X - \overline X )}^2}}}{{n - 1}} = \frac{{SS}}{{df}} $$
其中，分子为离均差平方和，简称平方和，记为SS；分母为自由度，记为 ，所以总变异及各变异原因记为:
$$ M{S_t} = M{S_b} + M{S_w} $$
总变异的数学意义是每一原始分数（X）与总平均数（ $\overline X $）的离差，记为 $(X - \overline X )^2 $
组间变异的数学意义是每一组的平均数（$\overline {{X_{\rm{i}}}}$）与总平均数的离差，记为 $(\overline {{X_{\rm{i}}}} - {\overline X _{\rm{i}}})$
组内变异的数学意义是每一组内部的原始分数与其组平均数（$\overline {{X_{\rm{i}}}}$）的离差，记为$(X - {\overline X _{\rm{i}}})$
方差分析是一种参数检验方法，因此在进行均数差异的检验时必须考虑作为参数检验应具备的条件，即应考虑不同总体的变异水平——个体差异是否一致。只有在待检验的几个总体的方差一致的前提下，才能根据差异检验的结果作出适当的结论，否则对差异原因就难以归因，譬如究竟是实验条件不同产生的影响，还是个体之间本身的差异造成的影响。
对于样本所来自的各个总体的方差是否一致的问题可以从两方面着手。一是如果已积累了大量的经验，则可预先做出方差一致的判断，进行差异检验时可以假定几个总体的方差相等。二是如果根据经验不足以判断方差是否一致，可以根据研究所搜集的资料样本方差进行统计分析，检验方差相等的假设是否成立。因此方差齐性检验就是检验各总体方差是否一致的统计方法。
方差齐性检验（test of homogeneity of variance）的虚无假设是假设各个总体的方差相等（即无显著差异）或是各个样本方差来自相同的总体，其表达方式记为:
$$Ho:{\sigma _1}^2 = {\sigma _2}^2 = {\sigma _3}^2...$$
研究假设虽然不能保证所有的方差存在显著差异，但可以假设至少有两总体的方差存在显著差异，只要有两种总体方差或样本方差不一致，虚无假设各总体方差相等就不成立了。
方差齐性检验的方法
检验多个总体方差一致性的方法很多，但是最常是哈特莱（Hartley）检验法。哈特莱检验法是检验
$$Ho:{\sigma 1}^2 = {\sigma 2}^2 = {\sigma 3}^2...$$
这一假设的较好方法，它借助于F最大值来检验。所谓F最大值就是把一系列方差中的最大方差与最小方差进行比较的方法，即
$$ {F{\max }} = \frac{{{S^2}{(n - 1)max}}}{{{S^2}{(n - 1)min}}} $$
在虚无假设 $$Ho:{\sigma _1}^2 = {\sigma _2}^2 = {\sigma 3}^2...$$ 时，最大值分布的临界值已由哈特莱计算出来形成了F最大值理论分布表，见附表。查Fmax时，需根据方差数目k及方差的自由进行。其中，
$df = {n{\max }} - 1$ 。
对例1的数据进行方差齐性检验的过程与方法如下：
1.建立假设
$Ho:{\sigma _1}^2 = {\sigma _2}^2 = {\sigma _3}^2$，即三个总体的个体差异无显著差异
Ha：至少有两个总体的方差存在显著差异
2.计算统计量
2.1求各样本的方差
$${S^2} = \frac{{\sum {{X^2}} - {{(\sum X )}^2}/n}}{{n - 1}}$$
$$\begin{array}{l}
{S_A}^2 = 2\
{S_B}^2 = 0.8\
{S_C}^2 = 2.8
\end{array}$$
| 学习方法 | 成绩(x1) | x2 | x3 | x4 | x5 | x6 | $\sum X$ | ${\sum X ^2}$ |
|---|---|---|---|---|---|---|---|---|
| A | 5 | 6 | 7 | 5 | 3 | 4 | 30 | 160 |
| B | 11 | 10 | 9 | 11 | 9 | 10 | 60 | 604 |
| C | 14 | 15 | 17 | 13 | 17 | 14 | 90 | 1364 |
| $\sum {}$ | 180 | 2128 | ||||||
| $\sum {\sum X }$ | ${\sum {\sum X } ^2}$ |
2.2求F最大值
$${F_{max}} = \frac{{2.80}}{{0.8}} = 3.5$$
2.3比较与决策
当组数k=3，自由度df=6-1=5时，${F_{max0.05}} = 10.8$。因为${F_{max}} = 3.5 < {F_{\max 0.05}} = 10.8$，P>0.05，差异不显著，接受虚无假设，拒绝研究假设，说明三个总体的方差一致。
3. F分布的应用——方差分析
3.1. 单因素方差分析的意义
方差分析是在实验研究中产生的，由于一次实验涉及的因素多少不一而分为单因素设计和多因素设计。所谓单因素设计（single factor design）就是从影响实验结果的众多因素中选取一个作为自变量，其他因素都加以控制的设计类型。分析单因素设计实验结果的方法称单因素方差分析，换言之，实验所考察的自变量只有一个的实验设计的方差分析。
单因素设计是最简单、最基本的实验设计类型，其具体设计形式有完全随机设计、随机区组设计和拉丁方设计，因此相应的方差分析也就有完全随机设计的方差分析、随机区组设计的方差分析和拉丁方设计的方差分析。本章只介绍前两种形式。
3.2. 完全随机设计的方差分析
3.2.1. 完全随机设计
如例1，研究者欲研究学生在不同学习方法下的学习效果，随机抽取各方面条件基本一致的学生18名，并随机地将他们分为三组分别用一种学习方法学习。经过一段时间后，对不同学习方法的效果进行统一测验。这种实验设计即为完全随机设计（completely randomized design）。完全随机实验设计就是随机地抽取研究对象并随机将其分配至各种实验条件进行实验的设计形式。换言之，就是每一随机组分别接受一种实验处理的设计。
在完全随机设计中由于被试是随机抽取的，并随机分组，因此一般认为所分的组是“等组”的。如果实验结果出现组与组之间差异显著，就可以认为实验处理的效应显著，亦即各种学习方法的学习效果确有不同。正因为抽样的随机性，各组之间是相互独立的，所以这类设计也称为独立组设计或被试间设计。
3.2.2. 完全随机设计的方差分析
1．样本容量相等的方差分析
各个样本容量相等时意味着对于每一种实验处理它们的被重复次数相同，如表3，每一种学习方法均重复了6次。其方差分析过程与上一节所介绍的方差分析基本方法完全一致。
2．样本容量不相等的方差分析
在完全随机的方差分析中，究者常常使各实验处理组的被试数目相等。这本不需要，但却能使计算稍微容易些。像独立样本t检验一样，F检验也允许样本容量不等。
4. 小结
方差分析是比较两个以上平均差异显著性的方法。其逻辑思想是将总变异分解成组间（或处理间）变异和组内（或误差）变异，通过比较组间与组内变异率的大小来确定均数差异是来自实验因素或处理，还是源自随机误差。引起组间的变异原因主要实验施加的影响因素（或条件）和随机误差，引起组内变异的原因则为随机误差（其中含个体变异和实验变异）。根据一次实验因素的个数分为单因素实验和多因素实验。单因素实验方差分析主要有完全随机设计的方差分析和完全随机区组设计的方差分析。