150、假设检验——独立双样本检验之 AB测试案例

项目背景
原生产线上有A、B两台机台,由于订单量的减少,现在需要选出最优那一台继续生产,另一台需要整体改造,另作他用。该如何选出最优的机台?
首先,我们需要设置目标,用来衡量两台机台的优劣。已知两台机台都需要检测产品上端子平面度尺寸,端子平面度为0~0.05mm,在这范围内端子平面度越小,则机台精度越高,越平稳。
有了衡量标准后,下一步就是采集数据。接下来给这两台机台分别试跑20个产品,然后记录机台检测产品端子平面度的尺寸。
我们将数据记录在Excel中,A列是使用A机台检测产品端子平面度的尺寸,B列是使用B机台检测产品端子平面度的尺寸。
现在我们开始A/B测试
一、描述统计分析

读取文件:
1.读取文件.png

转换数据格式:
2.转换数据格式.png

求取样本平均值和标准差:
3.求取样本平均值和标准差.png

二、推论统计分析
1、问题是什么?
零假设和备选假设
要研究的问题是:哪台机台生产产品更优?
根据这个问题我提出来下面两个互为相反的假设。
零假设H0:A机台和B机台没有差别,也就是A机台端子平面度平均值等于B机台端子平面度平均值。
备选假设H1:A机台和B机台有差别,也就是A机台端子平面度平均值不等于B机台端子平面度平均值。
检验类型
因为这里有2组样本,是不同的机台,所以选择双独立样本检验。
抽样分布类型
我们还要判断抽样分布是哪种?因为抽样分布的类型,决定了后面计算p值的不同。
在我们这个A/B测试案例中,样本大小是20(小于30),属于小样本。那小样本的抽样分布是否满足t分布呢?因为t分布还要求总体分布近似正态分布,但是总体分布我们是不知道的,我们可以通过样本数据集的分布来推断总体分布。

描绘数据集分布:
4.描绘数据集分布.png
4-2.数据集分布.png

通过观察上面A、B机台数据集分布图,数据集近似正态分布,所以满足t分布的使用条件,我们可以使用独立双样本t检验。
检验方向
单尾检验(左尾,右尾),还是双尾检验?
因为备选假设是:A机台和B机台有差别,也就是A机台端子平面度平均值不等于B机台端子平面度平均值,所以我们采用双尾检验。
总结
综合以上分析,本次检验使用独立双样本t检验,双尾检验。
2、证据是什么?
在零假设成立前提下,得到样本平均值的概率p是多少?
Scipy的双独立样本t检验不能返回自由度,对于后面计算置信区间不方便。所以我们使用另一个统计包(statsmodels)
需要在conda中当前notebook文件所在的python环境下安装统计包(statsmodels),安装命令:conda install statsmodels
双独立(independent)样本t检验(ttest_ind)
statsmodels.stats.weightstats.ttest_ind
官网使用文档http://www.statsmodels.org/dev/generated/statsmodels.stats.weightstats.ttest_ind.html
导入数据包statsmodels,计算t值、概率p_twoTail和自由度df:

5.计算t,值p_twoTail,值自由度df.png

3、判断标准是什么?
6.判断标准——显著水平.png

4、做出结论
7.做出结论.png

5、计算置信区间
1)置信水平对应的t值(t_ci)
查t表格可以得到,95%的置信水平,由上面的结果可知自由度是25
2)计算上下限,
置信区间上限a=样本平均值 - t_ci ×标准误差
置信区间下限b=样本平均值 - t_ci ×标准误差
查找t表格获取t_ci=2.06

计算置信区间过程:
8.计算置信区间.png

6、效应量

计算效应量:差异指标Cohen's d:
9.计算效应量.png

三、数据分析报告
1.描述统计分析
A机台端子平面度平均值是0.032mm,标准差是0.010mm
B机台端子平面度平均值是0.028mm,标准差是0.004mm
2.推论统计分析
1)假设检验
独立双样本t(25)=1.77,p=0.09(α=5%),双尾检验
接受零假设,没有统计显著
即A机台和B机台没有显著差别,可以任意选择一台进行整体改造
2)置信区间
两个平均值差值的置信区间,95% CI=[0.00,0.01]
3)效应量
d=0.43,效果不显著

你可能感兴趣的:(150、假设检验——独立双样本检验之 AB测试案例)