王晔，DTalk联合创办人。
清华大学本科，耶鲁大学博士，曾在Google总部广告质量部门负责产品优化。计算机系统优化领域的专家，发表过多篇顶级论文，拥有多项国际专利。在大数据技术与理论上有丰富的经验，特别专注于A/B测试的技术和实践。
今天，我们就邀请王晔先生聊一聊数据在决策和分析方面的看法。
问题1、您是计算机系统优化的专家，然后特别是在AB测试这方面，想了解一下您为什么现在致力于AB测试这方面的研究，以及这方面您自己的看法。
A/B测试是现代科学方法特别是西医的基础，可以用于企业的科学决策，保证业务的确定性持续性的增长。A/B测试已经逐渐替代传统的“拍脑袋”决策方法，在广告营销，金融，消费，媒体资讯，互联网等各行业都有广泛的应用，实现了稳定增长的科学决策。随着A/B测试试验系统的普及，在未来会是广大企业的必备工具。因此A/B测试的研究会有深远的影响力。
实际上一些很有名的例子，一些很有名的增长公司都是这么做的，比如说 Aribnb，他们所有的页面修改和流程上的调优，都会通过灰度发布到1%，或者5%的用户，去看访问时间，去看留存，去看下单，只有好的它才会上线，坏的它就会砍掉。
Google 每个月都会做几百个测试，其实有一些给 Google 带来了很多的营收增长，也有很多是很失败的项目。Google 在几百个里面，可能最后有10几个成功了，这些产品经理他们可能很骄傲，自己的产品能够给全世界所有的用户用，还为公司带来了2%营收的增长，仅仅通过 AB 测试的方式 Google 就可以达到华尔街的要求。
有一些东西真的只有测试过才知道，就是产品经理、运营人员、技术人员，没有办法理解的，比如说 Google 的广告位，如果你左移一个像素你就会赚钱，左移两个像素你就会亏钱，没有任何人知道为什么，但是 AB 测试可以告诉你。所有的改动都需要提前经过测试之后才可以上线。Facebook 更是这样，他们的移动端尤其如此，会把所有的新功能都集成到代码里面去，然后再把未来6个月要做的试验都集成进去，不断地去测。除了 Facebook 的产品得到提升之外，它还得到一个特别好的口碑叫没有 bug，可以想象 Facebook 几十亿的下载，它没有 bug 是多么的可怕。国内的百度搜索、大众点评、知乎这些网站，他们也都会做自己的 AB 测试，当然他们做的也都很好。
希望大家如果在实战当中要用到 AB 测试，可以看微软的科学家Ronny Kohavi 总结的八条经验，非常非常黑客的经验：
经验一. 效果惊人，某些很微小的改动，就可能造成对你 KPI 巨大的影响。
经验二. 大多数改动都不会大幅度提升 KPI，所以你需要耐心。
经验三. Twyman 法则，凡是看上去很出人意料的图表，通常都是因为数据统计错了。
经验四. 各个产品几乎都不一样，你复制他人的经验，往往都没有什么效果。
经验五. 任何能加速用户响应时间的改动，都会带来 KPI 的正向提升。
经验六. 点击率是很容易提高的，但是流失率是很难改进的，千万不要把精力放在优化某个页面点击率上。（其实要提高点击率非常简单，你只要在这个页面上加一个大美女就可以了，但是它并不能带来你真正实际上的增长。）
经验七. 尽量不要做很复杂的大量改动的实验，而是要做很简单的小的迭代。
经验八. 几千上万的用户才容易展开高效的 AB 测试。
其实有人就会问了，为什么 Facebook 要做那么大的试验，这就是最糟糕的一种策略，花了很多代价，实际上什么都没有学到，这个就需要我们在工作理念上，首先就能够认识到这一点，才能避免这样的错误。
用户数量是基础，在我的经验看来，你起码得有几千上万的用户，你才可以去做一些 AB 测试，当然你的用户数量越大，那个测试对你就越重要。
问题2、公司进行A/B测试，如何设置收集埋点针对不同平台的数据呢，特别是PC端与移动端，如何能比较数据效果，如何能识别是同一批用户，因为移动端是以访问次数来计算。
A/B测试这样的试验方法，并不一定要精确区分和识别具体用户，重要的是被帅选进对照组和实验组的样本能够具有代表性和可比性，试验结果可信。当然，一般试验的样本单位是用户/设备，这个可以通过cookie或者设备id来区分。
问题3、近几年来，Tableau，PowerBI,网易有数 这些产品的发展，可以看到BI朝着越来越敏捷的方向去发展。在未来，这些工具，是不是能够让用户花更少的时间在数据分析的实现上（比如 代码的实现，侧重于技术层面）？对于用户而言，更重要的，是数据分析，数据解读的能力（也就是思维层面的，非技术层面的）？
是的，好的BI软件将大幅度提高工作效率，不用浪费时间在统计，计算，出图表上，而可以专注于利用数据来指导业务决策，根据数据和图表找问题，想解决方案。做个类比，现在的财务更要会用excel做分析，而不是只是做balance sheet。这是好office软件excel带来的影响。BI软件也能给数据分析师类似的影响。
问题4、作为一个数据产品经理来说，您觉得如果给他三个能力标签，会是哪三个呢？
数据产品经理的三大能力，业务洞察力，数学功底，试验精神。
人依然是我们互联网技术产品里面最重要的角色，所有的成功案例都是靠人，靠产品经理、靠运营、靠技术、靠市场、靠销售，他们去想出来这些 idea，大量的 idea 通过数据去验证，最后好的 idea 闪光了，成功了，成为我们很多增长黑客的案例。
干货专访和文章
【DTalk精华】网易郑栋：前端数据采集与分析的那些事第一弹: 从数据埋点到AB测试
【DTalk精华】滴滴出行谯洪敏：前端数据采集与分析的那些事第二弹：企业如何选择自动埋点和可视化埋点
【DTalk精华】滴滴出行谯洪敏：前端数据采集与分析的那些事第三弹：埋点需求整理原则于埋点流程规范
【DTalk专访】滴滴谯洪敏：百家争鸣的前端技术时代
【DTalk思考】顾青：互联网团队的数据驱动能力从哪里来？
【DTalk专访】彭圣才：AI超越人类大脑，是一场「別有用心者」的骗局吗？
【DTalk专访】翁嘉颀：AI行业现阶段最需要什么样的人才？
【DTalk专访】赵华：携程怎么把机器学习与实际业务相结合？
【DTalk专访】网易郑栋：BI、可视化数据产品和大数据的几个核心问题
【DTalk回顾】美团点评沈国阳：我们在谈用户画像的时候到底在谈什么？
【DTalk专访】王晔：谷歌数据如何用于决策？