统计学中的各种检验-scipy.stats和statsmodels.stats的使用

这里会罗列一些统计学中的检验方法,当然顺序以笔者遇到的为准。

1.方差分析

1.1 概述

对于均值的检验,一般分为以下几种情况:

  • 某样本均值与常数的比较
  • 两个样本均值的比较
  • 两个以上样本均值的比较
    对于前两种检验,用t检验和z检验完全可以handle,第三种也可以用t/z检验两两进行,但是毕竟耗时,用方差分析就可以解决这个问题了。
    这个问题面试滴滴的时候有被问到,立志做数据科学家的朋友们,还是学习一下。
    比较常用的方差分析方法包括:单因素方差分析、多因素方差分析、协方差分析、多元方差分析、重复测量方差分析、方差成分分析等。

1.2 常用术语

  • 因素
    因素是方差分析的研究对象,是一个独立的变量,比如饮料的不用颜色就是因素。
  • 水平
    因素的取值就是水平,比如饮料颜色的红、黄、蓝、绿就是水平。
  • 控制变量
    方差分析中可以人为控制的变量,比如饮料的颜色。
  • 随机变量
    与控制变量相对应就是不可以人为控制的变量。
  • 观察变量与观察值
    方差分析中受控制变量和随机变量影响下观察的目标成为观察变量,观测得到的数值就是观察值。饮料再不同颜色的销售额就是观测变量,具体的取值就是观察值。

1.3 单因素方差分析原理

进行方差分析的要满足两个前提:

  • 总体服从正态分布
  • 样本满足方差齐性
    方差分析的目的是检验各个样本的均值是否相等,原假设是样本均值相等,备择假设是样本均值不相等。一般来说造成均值差异的原因有两个:
  • 因素水平不同造成的差异,成为系统性误差。
    承接饮料这个案例,饮料颜色就是系统性误差。系统性误差用组间方差来衡量,当然组间方差有可以衡量随机性误差,但主要是为了衡量系统性误差。
  • 样本抽样随机性造成的误差,成为随机性误差。
    同样,饮料在不同商场的销售额也不同,这是随机性误差。随机性误差用组内方差来衡量。
    如果因素水平对观察变量影响不大,那么组间方差只有随机性误差的影响,组间方差和组内方差的比接近于1,相反则大于1,当这个比值大于某个值的时候我们就可以得到显著性差异的结论。方差分析就是通过比较方差做出接受或拒绝原假设的结论。

1.4 单因素方差分析案例

饮料案例,我们要观察饮料的不同颜色对销售额是不是有显著的影响,基础数据如下:


基础数据
  • 建立假设
    原假设:饮料颜色对销售额没有显著影响。
    备择假设:饮料颜色对销售额有显著影响。
  • 计算样本均值和总体均值
  • 计算组间方差和和组内方差和
  • 构造F检验统计量
    这里注意自由度的问题:


    F检验统计量计算过程
  • 确定检验规则,做出决策
    1)P值检验
    根据F检验统计量计算P值,此处计算的P值为0.000466,小于显著性水平0.05,拒绝原假设,接受备择假设,即饮料颜色对销售额有显著影响。
    P值是根据概率密度函数求的。
    2)临界值
    临界值是根据假设检验类型查表得到的,比如显著性水平α=0.05,是双侧检验,F检验的临界值是3.24,那么计算值F=10.486>3.24,是拒绝原假设,所以认为不同颜色是有显著差异的。

1.5 python实现方差检验

很遗憾,python里没有包直接做方差分析,但是自己实现一个类应该是很简单的。
python里有方差齐性检验的包叫levene,在scipy里,直接调用scipy.stats.levene(rvs1, rvs2)
-- 2020.4.13更新
笔者原来说python里没有方差检验的包,笔者说错了,今天无意中发现
statsmodels.stats.power.FTestAnovaPower是可以进行方差检验的。

2.t检验

t检验的概念是通过比较不同数据之间的差值,以观察数据之间有没有显著差异。适用于小样本(30个以下),总体方差未知的情况。
t检验有几个假设条件:

  • 总体分布服从正态或近似服从正态分布。
  • 检验定量数据,即数据大小是有意义的,对于分类数据的检验请移步卡方检验。
    t检验有以下三种:
  • 单样本t检验,检验单个样本数据与某一个数据是否有显著差异。比如检验灯泡平均寿命是不是等于3000小时。来看一下公式:


    标准误差计算方法

    单样本t检验计算公式

    这个很简单了,使用python的包就可以求解:
    scipy.stats.ttest_1samp(data,pop_mean)其中,data是样本数据,pop_mean是总体均值。一个小demo如下:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy import stats
data = pd.Series([15.6,16.2 ,22.5 ,20.5 ,16.4 ,19.4 ,16.6, 17.9 ,12.7, 13.9])
data_mean = data.mean()
data_std = data.std()
pop_mean=20
t,p_towTail = stats.ttest_1samp(data,pop_mean)
  • 独立样本t检验
    用于分析定类数据与定量数据之间的关系,如男女生的身高是否有显著差异。独立样本t检验假设样本来自于两个不同的独立总体,但方差相同,除了要求单样本t检验的那些条件,还要求两个样本之间具有方差,需要进行方差齐性检验,参考方差分析。
    计算方法我在网上找了一个ppt讲解的很好:


    image.png

    python实现用的是scipy.stats.ttest_ind,来看一个小demo:

from  scipy.stats import ttest_ind, levene
import pandas as pd
x = [20.5, 19.8, 19.7, 20.4, 20.1, 20.0, 19.0, 19.9]
y = [20.7, 19.8, 19.5, 20.8, 20.4, 19.6, 20.2]
print(levene(x,y))
print(ttest_ind(x, y))
#levene检验p值大于0.05认为是满足方差齐性的,如果不满足则加一个参数equal_var=False
print(ttest_ind(x,y,equal_var=False))
  • 配对样本t检验
    配对样本T检验用于分析配对定量数据之间的差异对比关系,这个就和独立样本t检验区分开了,要求样本量相同且前后顺序要一一对应。比如通过两组数据的对比分析,判断背景音乐是否会影响消费行为。配对样本t检验可以通过差值转化为单样本t检验:


    配对样本t检验原理

    python实现用的是scipy.stats.ttest_rel(data1,data2),来看一个小demo:

from  scipy.stats import ttest_rel
import pandas as pd
x = [20.5, 18.8, 19.8, 20.9, 21.5, 19.5, 21.0, 21.2]
y = [17.7, 20.3, 20.0, 18.8, 19.0, 20.1, 20.0, 19.1]
# 配对样本t检验
print(ttest_rel(x, y))

3.Z检验

Z检验和t检验其实一样,都是对均值进行检验,但是不一样的地方在于Z检验要求样本量比较大,并且总体方差已知。由于t检验不要求总体方差已知,所以t检验的应用范围比较广。Z检验其实和t检验有相同的计算形式:


Z检验的计算公式

python实现用的是scipy.stats.weightstats.ztest(data1,data2),来看一个小demo:

import statsmodels.stats.weightstats as sw
arr=[23,36,42,34,39,34,35,42,53,28,49,39,\
46,45,39,38,45,27,43,54,36,34,48,36,\
47,44,48,45,44,33,24,40,50,32,39,31]
sw.ztest(arr, value=39)

当然了单样本和双样本都可以做。Z检验就不过多介绍了。

4.F检验

如果大家还有印象,我们之前用F检验做过方差齐性分析。F检验还有一个广为人知的名字叫联合假设检验,主要用在方差分析中。


计算公式如下

怎么实现我们之前已经讲过了,用scipy.stats.levene这个准没错。

5.卡方检验

卡方检验是用于检验样本实际值与理论值之间是否存在显著差异,原假设是没有显著差异的。举两个好理解的例子:卡方检验可以检验男性或者女性对线上买生鲜食品有没有区别;也可以检验不同城市级别的消费者对买SUV车有没有什么区别。
具体计算过程可以看这篇文章,讲的很好:卡方检验的实际应用
python实现用的是scipy.stats.chisquare,来看一个小demo:

import scipy.stats as ss
obs=[107,198,192,125,132,248]
exp=[167]*6
#拒绝域 1%的显著水平,自由度5
#jjy=ss.chi2.isf(0.01,5)
#卡方
kf=ss.chisquare(obs,f_exp=exp).statistic

6.比率检验

这个真的是太神奇了,通常用在互联网中,用来比较两个比率有没有显著差异。
使用A方案的付费转化率为30%,使用B方案的付费转化率为34%,可以检验这两个转化率之间是否有显著不同。本质和z检验一样,把标准差换成了比例而已,可以用单样本也可以用双样本。

比率检验统计量计算公式

其中π0是总体比率,p是样本比率。
比率检验的演化
用python的话调用statsmodels.stats里的相关函数,来看个小demo:
from statsmodels.stats.proportion import proportion_effectsize
from statsmodels.stats.power import zt_ind_solve_power
effect_size=proportion_effectsize(prop1=0.3, prop2=0.4, method=‘normal‘)
sample_size=zt_ind_solve_power(effect_size=effect_size, nobs1=None, alpha=0.05, power=0.8, ratio=1.0, alternative=‘two-sided‘)
这个包可以推广到以上的F检验,t检验和Z检验。
基本上检验的方法和用途都说完了,希望起到启发的作用,大家如有需要可以探索更多假设检验的方法。

你可能感兴趣的:(统计学中的各种检验-scipy.stats和statsmodels.stats的使用)