原文作者:谷歌联合创始人Avinash Kaushik
最近读了谷歌联合创始人 Avinash Kaushik 写的《The Lean Analytics Cycle: Metrics > Hypothesis > Experiment > Act》一文,个人认为其中的方法论对我们应用数据分析来指导商业实践是非常有价值的。
我是做技术出身,不太喜欢重复造轮子,在对 Avinash Kaushik 这篇文章做了大部分编译的基础上,也提出了我的一些个人看法和思考。限于篇幅原因,原文里的四个案例,这里只摘了 Airbnb 的例子,感兴趣的朋友可以在文末查看原文。
我的一些思考:
数据驱动(Data Driven)的概念在国内有了很长时间了,但真正实现数据驱动的公司却少之又少。要做好精细化运营,需要用好数据,用数据来驱动运营和产品增长,而其中的关键则在于实现数据分析闭(循)环。
要让数据闭环的价值充分体现出来,企业必须具备两个核心条件:
1、创造和使用数据的人,需要具备用数据来分析和决策的能力,特别是能够把具体数据对应的业务意义理解清楚,这些人硅谷互联网圈称之为“增长黑客”。
举例来说,如果Airbnb的一个A/B测试的试验结果是房屋详情浏览下降而订房率上升,那么说明什么问题?应该采取什么行动?是不是因为在试验里房屋展示列表改进了,让用户可以更加快速的发现自己想要的房屋(从而减少浏览房屋的次数而提高下单的可能)?另一个相反的可能,试验里房屋列表展示有问题,让用户能点的房屋变少了,下单的增加仅仅是因为试验里增加了促销奖励?增长黑客需要对数据进行合理的判断,然后做出相应的决策(显然,不同的判断往往带来不同的决策)。如果试验结果的分析不明朗,我们可能还需要重新设计试验,比如减少试验的变量,或者增加更多的试验版本。
注意,选择合适的关键KPI作为核心优化指标(订单量),试验数据会更加容易分析。
2、产生数据的工具,需要保证数据的准确和可信,特别是A/B测试的统计结果必须足够收敛。
假如数据统计的结果是B版本比A版本提高了10%的下单,但是“误差”达到了50%,那么这个试验数据的可参考价值就几乎不存在了,对于我们的产品优化也没有用。
在关键性的企业决策工作中,人的作用依然大于机器,就是因为人可以通过经验和思考帮助判断数据的可信性,从而避免让错误的数据带来错误的决策。
对原文的编译:
(可能未必准确,建议在读了中文之后有兴趣再读一下原文)
那么,什么是数据分析闭环?
数据分析闭环有四个步骤:指标--->假设--->试验--->行动。无论你做的在线,离线,或是非线上的业务,都需要这个闭环来指导业务增长。
数据分析闭环
过分迷恋于数据收集和标准的指标报告或许不是好事,很多人对这些很热衷有时候只是在跟风,因为数据和指标的作用和价值很多年前就有人在强调。但这种现象是不正常的,只有把指标和数据用于指导实践,形成一个数据分析的闭环,才能体现出数据的价值。怎么解决这个问题,又或者说怎么形成数据分析到应用的闭环?
《精益数据分析》这本书里提到了精益数据分析闭环这个概念,它的目的就是帮你创建一个可持续的方式来选择重要的指标,并把这些指标跟基本的业务问题关联起来,然后提出对问题解决方案的假设,通过测试(当然包括A/B测试)验证假设并最终驱动业务增长。
下面,我们会从四个步骤,解读数据分析闭环的一些细节并用 Airbnb 的案例让大家更好的理解精益分析循环如何指导业务实践。
精益数据分析模型
精益数据分析循环非常简单,它的4个步骤清晰的解释了你该如何来用它指导业务。首先,要找出你想提升什么;然后创建并运行试验;最后衡量试验结果并决定采取什么行动。
这个循环里结合了精益创业(精益创业是指基于数据分析进行持续的迭代提升)的概念,它能帮你放大已经验证有效的想法,抛弃无效的想法,并根据数据反馈来调整目标方向。
用下面的这张图来表示精益创业循环:
上图的流程看起来有点复杂,我们把它简化为任何业务和公司都能用于其数据分析实践的四个关键步骤:指标--->假设--->试验--->行动
步骤1:找出优化指标
这个循环不能帮你了解你的业务,因为这是你的工作。你需要知道业务最重要的是什么,以及需要改进什么。
是提升转化率?
是提升访客注册数?
是提高用户分享率?
还是降低用户流失比例?
也可能简单到就像让更多人去你的餐馆就餐。
关键在于,它必须是你业务的核心指标。如果你不是业务负责人,只负责增长,那么你可能需要业务管理者(老板或业务总监)帮你确定这个指标。这是好事,意味着你跟业务是有关系的,如果这个循环最终成功,你会让团队离目标更进一步。
确定要改善什么指标的另一种方法是根据你的商业模式。我们举柠檬水摊的例子,那么你的商业模式就是一张表格,这里记录了柠檬和糖的价格,经过摊点的人数,多少人停下来买水喝,以及你收费多少。这里有四件事对你的生意很关键,其中一件有待改善。这就是现在你的业务非常重要的一个指标。只选一个指标出来,因为你要优化它。
这个指标跟 KPI 相关,如果是购买人数,那么指标是转化率。如果是发送的邀请数,指标就是病毒性。如果是离开的付费用户数量,就是流失率。
商业模式也能告诉你指标应该是什么。比如,如果你需要每杯柠檬水卖5美元才能达到收支平衡,那么这就是你的目标, KPI 的目标。
步骤2:提出假设
这是发挥你创造性的地方,因为你可以进行各种类型的试验:
一次营销活动
应用的重新设计
定价的改变
把运输成本纳入价格
改变吸引用户的方式
尝试不同的平台
改变按钮文字
A/B测试一个新功能
无论如何,提出假设是需要灵感的地方,你可以通过两种方式找到灵感。
如果得不到数据,你可以做各种尝试。
尝试理解市场。做调查,或看看别人怎么做,或查看客户反馈,或者简单地拿起电话。
从竞争对手那里偷师。如果有人做的很好,那么可以模仿。但切记不要为了不同而不同。
学习最佳实践。了解其他公司的增长方式,从增长黑客到内容营销,并从中找灵感。
如果能获取数据,搞清楚用户之间有什么不同点。比如说,你在想办法降低流失率,有些用户一个月都不退出,他们之间有什么共同点?最忠诚的客户跟其他人有什么不同点?他们都来自同一个地方?他们都买一样的东西?诸如此类。
无论哪种方式,这个假设都来自于用户,问他们问题,或了解他们的选择。
假设这个词有很多不同的解释,个人觉得维基百科给的定义最贴切:
人们把问题的试验解决方案称为假设,通常称为“有根据的猜测”,因为它提供的解决方案是由一些证据得出的。
我们对采取什么动作才能改善 KPI 所做出的有根据的猜测是基于步骤1得到的。
步骤3:创建试验
一旦有了假设,你需要先回答3个问题再进入试验步骤。
首先:目标受众是谁?事情的发生都是因为有人做了什么。那么你期望做什么呢?受众是所有人,还是用户中的一部分?他们是正确的受众吗?你能触达他们吗?直到你明确了你是要试图改变哪些人的行为,才能去吸引他们。
其次:你想让他们做什么?你要求他们做的事情足够清晰明确吗?他们能很轻松的,或是以自己的方式做吗?他们中有多少人今天做了这项操作?
第三:为什么他们要这么做?只有有价值的,并且充分信任你,他们才会做你要求做的事。你正确地激励他们了吗?当前的哪一项请求最有效?为什么他们愿意为你的竞争对手做这件事?
看起来 who 、what 和 why 这三个问题不难回答,但事实并非如此。因为这需要你对客户有很深入的了解。在精益创业里,这叫做客户开发。创建试验的步骤看起来就像是这样:
弄清楚什么人因为什么原因做什么事,才能明显提高你定义的目标 KPI 。
这是我们采取行动的目的,用靠谱的假设来创建靠谱的试验。这种方式也能让每个人理解试验的目的和意义。
一旦创建了试验,并设置数据分析来根据当前的基准和你设定的目标来衡量 KPI ,接下来就是运行试验。
步骤4.衡量和决定要做什么
到这一步,就能知道你的试验是否成功。这样我们有了下面的几个选择:
如果试验成功,碉堡了。庆祝一番,然后继续找下一个最重要的指标,继续下一个 who , what ,why 周期。毕竟,生命不息,优化不止嘛。
如果试验失败,则需要重新审视我们的假设。然后把从失败的试验里学到的经验用于定义新的 who ,what , why 。即使是失败的试验,如果能从中得到教训,就不算是浪费机会。
如果试验有一点结果,但不明显,这时候就应该尝试另一个试验了。一开始提出的假设依然有效,但是你可以根据这次试验对接下来的试验进行优化,再试一次。
这就是流程之美,we’re being smart, fast, and iterative!制定慎重的计划,衡量其结果,并围绕更接近我们的目标。识别,假设,测试,反应,以及重复。
下面是一个具体的案例,来加深对精益数据分析循环的理解。
案例:Airbnb
Airbnb 是美国一家非常受欢迎的共享经济公司提供闲时房屋租赁,他们发现了很多创造性的方式来实现增长,明智和数据驱动是它的代名词。
步骤1:找出优化指标
Airbnb 想优化的指标是房屋租赁天数,这对它们来说比单纯衡量收入更重要:如果房东出租房子的时间越久,那么 Airbnb 的业务也会变得更好。为了成就房东, Airbnb 通过列出热门租住房源,来保证留存。
Airbnb 知道,要取得成功,需要大幅提高每家物业的租住率。
一个关键指标:“房屋租赁天数”
KPI :房屋预定
目标:不明
当前水平:不明
步骤2:提出假设
我们不知道 Airbnb 是怎么提出这个假设的,但我们知道它能得到热门租住的房屋列表。
可能他们注意到这些热门租住房屋的照片看起来更专业。
可能他们意识到房客的常见投诉是房子的照片和实际上不一样。
可能他们发现人们在看了照片之后就放弃了列表。
可能他们他们分析了图片的元数据,发现房屋租赁跟昂贵的相机型号之间有很强的相关性。
反正他们就是得出了这样的假设:图片越好看,房子租的越好。
步骤3:创建试验
有了这个假设,接下来就是创建试验了。通常来说,有一个清晰的假设能让创建试验更容易。 Airbnb 的 who ,what ,why 如下:
谁是试验的目标受众?在 Airbnb 上查看列表的游客。
想让他们做什么?租房子更频繁。
游客为什么会这样做?因为照片看起来更专业,并且让房子看起来更美观。
那么,这个试验就变成了:
确定游客们是否会因为更专业的照片列表更频繁地预定房子,并把房屋预定提升 X%。
这种情况下, Airbnb 真的不需要任何当前数据,这就像对午餐的一次随机评论引出的假设。但即使假设不是建立在硬性数据中,试验设计也必须建立在硬性数据上。
为了运行试验, Airbnb 创建了精益创业里的最小可行化产品(MVP)。就像魔法师:大多数辛苦的工作都是在幕后做的,但观众认为他们看到的就是真相。
Airbnb 不确定试验是否有效,所以团队不打算雇佣全职的摄像师或给应用添加一个新功能。但同时,他们必须对实际功能进行真实测试。
这给我们一个很好的经验,你不需要建造一个宏伟的闪亮城堡,你不需要万事俱备才开始测试。你可以开始小的,精益的,低成本的测试,只对客户测试你想测试的部分,来验证(或反驳)你的假设。
Airbnb 的试验包含一些看起来像是一个真实功能的东西,但其实只需要摄影师就能解决。在试验过程中,摄影师为房屋拍照,然后测量 KPI ,再把有摄影师拍照和没摄影师拍照的房屋进行对比。
步骤4.衡量表现
在这个案例里, Airbnb 衡量了有专业摄影师拍摄的房屋以及屋主自己拍照的房屋的预定量。那么结果如何?有专业摄影师拍照的房屋平均预订率翻了2-3倍。
记住原始数据不是唯一重要的部分,我们需要衡量统计显著。 Airbnb 的试验数据足够证明结果的可行度。—— Avinash
到2011年,公司已经有了20名全职摄影师。
这张图非常令人印象深刻,对吧? Airbnb 的业务和商业模式做了很多对的事情,但精益过程和A/B测试是提高预订率的关键因素,显然,试验是成功的。
从 Airbnb 的案例中我们学到什么?
精益数据分析循环是快速推动变革非常核心的因素。精益数据分析循环和精益模式是一个整体,他们可以用于处理不确定事件,但他们不是随机的。第一步里很大的考量是如何确定 KPI (包含“一个关键指标”),这将成为我们试验的指引。第二步里有很多考虑,以确保能做出最佳假设,然后通过深入清晰地定义 who , what , why 来弄清楚如何进行试验。最后,衡量我们是否成功。然后不断内化吸收,最终成功。