t检验

一、t检验适用场景

• 依据中心极限定理，当样本量n足够大时，无论总体分布形态如何，样本均值都服从正态分布N(μ，δ²/n)。其中，μ为总体的均值，δ为总体的标准差，n为样本量。此时，统计量服从标准正态分布。如果总体的标准差δ不知道，可以利用样本的标准差S代替，因为样本数量较大时，总体的标准差和样本的标准差近似。
• 而当样本数量较少时，总体的标准差和样本的标准差相差较大，此时，中心极限定理不在适用。而统计学家发现，在总体服从正态分布的情况下，统计量服从t分布。t分布与标准正态分布如下图所示，当样本数量n较大时，t分布接近标准正态分布；而当样本数量n较少时，相比与标准正态分布，t分布两侧尾部面积增加。
• 因此，t检验适用于样本量较小时的检验。且样本量n通过两种方式影响p值。
  1）n增加时，由于分母减小，t检验统计量趋向增加。
  2）n增加时，t分布两侧尾部面积减小，同样的t值对应的p值会减小
  
  不同自由度的t分布与标准正态分布

二、t检验的三种类型

• 单样本t检验
  用于检验样本均值与某一个标准值μ₀的差别。
• 成对样本t检验
  用于检验一组样品在某种试验条件前后样本均值是否有差别。比如对一组老鼠施加某种药剂后，生理指标是否有变化。成对样本t检验可以转换为单样本t检验：将样本中每个对象施加条件前后的数据相减，作为一个样本数据，从而检验新的样本数据均值是否为0。
• 独立样本t检验
  用于检验两组独立样本，均值是否有差别。这两组样本的数量可能不同。
  依据两组样本的均值是否相等，可以分为方差相等的独立样本t检验和方差不等的独立样本t检验。判断两个样本方差是否相等，可以利用Levene 氏检验，这个检验原假设时两个样本方差相等，很多统计学软件（如spss）会给出这个检验的p值，如果p值小于0.05，可以拒绝原假设，认为方差不等。

三、t检验的注意事项

• 1）t检验只能检验最多两组样本的均值的差别。（超过两组，需要用方差分析）
• 2）由于是检验均值的差别，因此，t检验适用于离散型变量的数据检验，只能用于连续性变量的数据检验。
• 3）在样本量较小时，t检验不能用于总体不服从正态分布的假设检验。
• 4）显著性的差异不等同于差异的显著性。
  例如，目标是比较两组样本均值是否有差别。如果分别利用两次独立样本t检验比较各组样本是否与标准值有差别，发现一组显著，另一组不显著，则不能说明两组样本均值差异一定有显著性。必须使用直接服从目标检验的统计量进行假设检验（这里必须使用独立样本t检验方法）。
• 5）样本组内数据点之间必须是独立的。
  如果不独立，那么假设检验的结果是更倾向于显著性结果，从而更容易犯第一类错误。
  解决样本不独立的问题，可以对嵌套结构的数据，每一层数据进行数据平均，作为一个样本点；也可以使用多层模型（ multilevel models，又称分层模型 hierarchical models )。这是一类专门为具有嵌套关系的数据发展出来的统计学方法，能够把数据收集过程中的不同层次、不同单元考虑进来，而不需要提前取平均，避免了前一种方法损失效能的问题。

四、多大样本算是大样本及数据正态性的检验

t检验正态性的要求时针对抽样分布而言的。依据中心极限定理，大样本下，抽样分布一定是正态分布，无论总体是否正态分布。但多大样本才算大样本？这取决于总体与正态分布相似的程度，总体越趋近正态分布的形态，抽样分布随着样本量的增加趋近正态分布的速度就越快。研究表明，大多数抽样分布在样本量大于15时，已经比较少的趋近正态分布了，这也是一些教科书上会说样本量大于15时，可以使用t检验了。
如果样本量比较少，此时我们需要对数据进行正态性的检验，主要方法有以下三种：

• 频率直方图
  观察样本的频率直方图是否符合正态分布。
• Q-Q图
  q-q图是比较样本的n分位数与正态分布的n分位数是否呈线性关系，如果qq图为一条直线，表明样本服从正态分布。此外，q-q图可以比较样本是否服从某种已知分布，或者两组样本是否来自同一分布。
• 夏皮罗－威尔克检验（Shapiro-Wilk test）和科尔莫戈罗夫－斯米尔诺夫检验（Kolmogorov-Smirnov test）。
  这些检验的原假设是数据符合正态分布，当 p 值足够小时拒绝原假设，认为数据不符合正态分布。使用这些检验的时候要注意，当样本足够大时，只要数据稍有一点偏离正态分布，p 值就总能小于 0.05，因而检验的结果总是倾向于显示数据为非正态分布。也就是说，如果我们的样本足够大，即使夏皮罗－威尔克检验或科尔莫戈罗夫－斯米尔诺夫检验给出小于 0.05 的 p 值，数据来自的总体仍可能是服从正态分布的。

五、数据非正态的处理方法

• 1）数据变换
  对于右偏的分布，可以利用递增速率减缓的函数来进行数据变换，比如log(x)，等。对于左偏的分布，可以利用递增速率增加的函数来进行数据变换，比如e^x,x³等。
  （1）Box-Cox变换
  该变换是依据数据自动寻找最佳变换函数的方法，变换公式如下：
  
  由公式可知，需要确定最佳的λ。对于每个数据，经过上述公式变换后，如果变换后数据服从正态分布，则可以确定出正态分布的均值和标准差，进而确定每个变换后数据的概率密度，然后应用极大似然估计方法来求解出λ。
  （2）数据变换的局限性
  第1，数据变换不能解决所有的非正态问题，比如对于离散型变量的分布，有多个峰的分布，数据变换无法将它们变成正态分布；第2，数据变换后，t检验的意义会发生变换，对于一些复杂变换，在数据解释方面存在不足。
• 2）非参数检验

非参数检验适用于数据总体不服从正态分布的情况，包括以下两种：
单样本 t 检验和成对样本的 t 检验对应于威尔科克森符号秩检验，以下简称符号秩检验；
独立样本的 t 检验对应于曼-惠特尼 U 检验（也叫做曼-惠特尼秩和检验），下面简称秩和检验。

（1）秩和检验的优点：
不要求总体服从正态分布；
离散型定序变量也适用；不受个别样本极端值的影响。
（2）秩和检验的缺点：
相比与t检验，统计功效很低；
t检验直接比较的是两个样本的均值是否一致，有着直观的解释，而秩和检验比较的是一组数据大于另外一组数据的概率是不是大于0.5，只有当被比较的两组数据的分布形状完全一样而只是差一个平移的情况下，秩和检验才能等价于检验两组数据的中位数是否相等。因此，相比于t检验，秩和检验的解释更加模糊。

六、t检验中效应量的估计

• 1）点估计
  p值大小与效应量、样本量有关，当样本量很大时，即使很小的效应量，p也会达到显著水平。因此，当t检验显著时，还需要计算效应量的大小。
  单样本t检验常用的估计指标是Cohen 氏 d 值：
  
  其中，μ为总体均值，σ为总体标准差，μ₀为标准值。总体的参数可以用样本参数代替。
  由于考虑了σ，因此d值可以将来自不同数据若干t检验的效应量放到同一个尺度上进行比较。
  Jacob Cohen 曾经提出过一条经验准则，把 d 值为 0.2，0.5 和 0.8 的效应分别称为小、中、大效应。这只是粗略的划分，也没有考虑到不同学科之间的差异，因此只能作为一种参考。
  此外，成对样本t检验常用的d值：
  
  独立样本t检验的d值：
  
• 2）区间估计
  在一定置信水平下构建效应量估计的置信区间，可以更清晰的得知，效应量估计的不确定度和估计误差。