A/B testing

A/B testing 其实就是控制变量法，对比实验。一般谈论的应用是网上线上发布的应用、网页等等

需要做分流，将整体分为用户样本集合A和用户样本集合B，A和B都能代表整个样本空间，然后我们给不知情的A和B提供不同的版本，通过某些指标来衡量哪个版本（一般其中有一个是要即将新上线的版本）好一些，两个版本之间有没有显著性差异。