150、假设检验——独立双样本检验之 AB测试案例

项目背景
原生产线上有A、B两台机台，由于订单量的减少，现在需要选出最优那一台继续生产，另一台需要整体改造，另作他用。该如何选出最优的机台？
首先，我们需要设置目标，用来衡量两台机台的优劣。已知两台机台都需要检测产品上端子平面度尺寸，端子平面度为0~0.05mm，在这范围内端子平面度越小，则机台精度越高，越平稳。
有了衡量标准后，下一步就是采集数据。接下来给这两台机台分别试跑20个产品，然后记录机台检测产品端子平面度的尺寸。
我们将数据记录在Excel中，A列是使用A机台检测产品端子平面度的尺寸，B列是使用B机台检测产品端子平面度的尺寸。
现在我们开始A/B测试
一、描述统计分析

读取文件：

1.读取文件.png

转换数据格式：

2.转换数据格式.png

求取样本平均值和标准差：

3.求取样本平均值和标准差.png

二、推论统计分析
1、问题是什么？
零假设和备选假设
要研究的问题是：哪台机台生产产品更优？
根据这个问题我提出来下面两个互为相反的假设。
零假设H0：A机台和B机台没有差别，也就是A机台端子平面度平均值等于B机台端子平面度平均值。
备选假设H1：A机台和B机台有差别，也就是A机台端子平面度平均值不等于B机台端子平面度平均值。
检验类型
因为这里有2组样本，是不同的机台，所以选择双独立样本检验。
抽样分布类型
我们还要判断抽样分布是哪种？因为抽样分布的类型，决定了后面计算p值的不同。
在我们这个A/B测试案例中，样本大小是20（小于30），属于小样本。那小样本的抽样分布是否满足t分布呢？因为t分布还要求总体分布近似正态分布，但是总体分布我们是不知道的，我们可以通过样本数据集的分布来推断总体分布。

描绘数据集分布：

4.描绘数据集分布.png

4-2.数据集分布.png

通过观察上面A、B机台数据集分布图，数据集近似正态分布，所以满足t分布的使用条件，我们可以使用独立双样本t检验。
检验方向
单尾检验（左尾，右尾），还是双尾检验？
因为备选假设是：A机台和B机台有差别，也就是A机台端子平面度平均值不等于B机台端子平面度平均值，所以我们采用双尾检验。
总结
综合以上分析，本次检验使用独立双样本t检验，双尾检验。
2、证据是什么？
在零假设成立前提下，得到样本平均值的概率p是多少？
Scipy的双独立样本t检验不能返回自由度，对于后面计算置信区间不方便。所以我们使用另一个统计包（statsmodels）
需要在conda中当前notebook文件所在的python环境下安装统计包（statsmodels），安装命令：conda install statsmodels
双独立（independent）样本t检验（ttest_ind）
statsmodels.stats.weightstats.ttest_ind
官网使用文档http://www.statsmodels.org/dev/generated/statsmodels.stats.weightstats.ttest_ind.html
导入数据包statsmodels，计算t值、概率p_twoTail和自由度df:

5.计算t，值p_twoTail，值自由度df.png

3、判断标准是什么？

6.判断标准——显著水平.png

4、做出结论

7.做出结论.png

5、计算置信区间
1）置信水平对应的t值（t_ci）
查t表格可以得到，95%的置信水平，由上面的结果可知自由度是25
2）计算上下限,
置信区间上限a=样本平均值 - t_ci ×标准误差
置信区间下限b=样本平均值 - t_ci ×标准误差
查找t表格获取t_ci=2.06

计算置信区间过程：

8.计算置信区间.png

6、效应量

计算效应量：差异指标Cohen's d：

9.计算效应量.png

三、数据分析报告
1.描述统计分析
A机台端子平面度平均值是0.032mm，标准差是0.010mm
B机台端子平面度平均值是0.028mm，标准差是0.004mm
2.推论统计分析
1）假设检验
独立双样本t(25)=1.77,p=0.09(α=5%)，双尾检验
接受零假设，没有统计显著
即A机台和B机台没有显著差别，可以任意选择一台进行整体改造
2）置信区间
两个平均值差值的置信区间，95% CI=[0.00,0.01]
3）效应量
d=0.43，效果不显著