1.16 - AB Test 理论研究

A/B 测试是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳型结论差别巨大。
A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。

【十个必须知道的规则】
1、忘记你以为你已经了解的客户的一切：不要试图对客户做一些主观性的假设；
2、总是建立一个基线；
3、对别人有效，并不意味着对你也有效；
4、同一时间只测试一个变量；
5、达不到统计置信度，不算成功：将来同样的测试再次运行，是可以预期到同样的结果的；
6、先会走再会跑，不要本末倒置；
7、获得第二个意见，或第三个，第四个；
8、用户行为数据和客户调查数据可能会发生冲突；
9、明确定义你的成功指标；
10、不要做没有价值的测试；

【提升AB测试和多变量测试到下一个水平的12个技巧】
1、使用充足的样本；
2、测试的持续时间；
3、排除不规则的日期：节假日，双休日等特殊日期；
4、限定细分和渠道：限定流量的种类，保持数据的清洁；
5、检查你的期望：要保持敏感，定期检查数据的一致性；
6、找到你的受众：选择与测试页的目标受众相似度高的受众和流量来源；
7、深入 - 信息越多越好；
8、再深入一些 - 粒度越细越好；
9、以转化阶段为单位进行测试：确保你关注的因素始终在转化漏斗的同一阶段，无论是在认知阶段还是购买阶段；
10、弹出调查问题：适当添加退出调查 - 既要调查那些完成转化的消费者，也要调查那些中途放弃的消费者；
11、测试值得测试的；
12、创建一个测试流程和框架；

【A/B测试的应用场景】
1、提高转化率；
2、激活；
3、提高内容利用率；

【相关经验】
1、为何要使用A/B testing：帮助扭转两个关键指标：留存和收入；
2、你的用户是否按照你的设定在操作；
3、你的直觉准吗？
4、探索边界；
5、关注用户在做什么，而不是他们说什么；
6、用户数据的多少决定你的成功几率有多少；

【高效AB测试的8条实用经验】

1. 效果惊人：微小改动带来KPI的巨大营销。比如说像素，颜色，文案就可以带来巨大的影响。
2. 耐心测试：大多数改动是不会大幅度提高，这很容易理解。
3. Twyman法则：凡是看上去很出人意料的图表，通常都是因为数据统计错了。
4. 你很不同：复制他人的经验往往得不到什么效果。
5. 速度很关键：任何能够加速用户响应时间的改动都一定会带来KPI的巨大提升。所以如果技术人员，产品，市场营销的代理公司，说他们可以加速你的H5加载时间，加速用户响应的速度，无论如何都要支持他去做。
6. 关注产品质量：点击率很容易提高，重要的是提升用户真正的体验。
7. 快速轻量的迭代：尽量不要做复杂的大量改动的大实验。这样做便于追因，改了一个什么地方，产生了什么效果，而不是改了10个地方产生了一个效果。这10个地方改动都是对我有正向的效果吗?不一定。
8. 用户数量是基数：几千上万的用户才可以展开高效的预测。