AB Test 确定样本量

Sample Size Calculator (Evan’s Awesome A/B Tools) reference

 是犯二类错误得概率（取伪的概率）。在课本中一般只考虑一类错误弃假的概率。但是在实际的AB test 应用中我们同时还要将 限定在一个较低的水平。

上述链接只需要输入4个参数就可以计算出实验所需的样本量。

 假设你要更改了门户网站的一个start 按钮，统计更改按钮后的cilck rate 跟未更改的变化。

Baseline conversion rate (基准比例)

        在实验开始之前，对照组本身的表现情况。也就是说在你没有更改上述门户网站的按钮的时候统计出来的cilck rate。在此假定Baseline conversion rate= 15%。

Minimum Detectable Effect(最小检验效果）

        衡量对实验判断精度的最低要求，如果我们希望转换率指标提高5%，且低于5%的差异对产品影响不大，则可将 Minimum Detectable Effect 设为5%。根据行业从业者的经验，网站的点劲旅变化2%左右已经是很明显的变化了。在我们的实验中将Minimum Detectable Effect = 5%，如果低于5%我们认为对门户网站的更改意义不大。

Statistical power（统计功效）

        统计功效，当原假设为假拒绝原假设的概率。故为 1- 。一般  定义在0.2左右。

Significance Level（置信水平）

出现第一类错误的概率 就是Significance Level, 我们常说的置信水平。一般 =0.5， 也就是说保证第一类错误出现的概率不超过5%。

输入上述4个值就可以确定样本的大小，本实验样本大小是 35799.