写在前面
说明：本文是对外文资料的翻译，诣在分享学习，译文不妥之处，望海涵。
作者：Deborah O'Malley，M.Sc.
原文链接：http://convert.behave.org/rs/433-VTF-228/images/zarget_ebook_042417.pdf
3 操作篇
一个运行良好的CRO项目取决于正确的数据分析和指标选取。这一章节，我们讨论转化目标选取的重要性，以及如何有效地达成目标。
3.1 关键绩效指标KPI（Key Performance Indicates）
为了有效地进行数据分析，顺利进行A/B测试，你需要提前确定转化目标，这些目标被称作你的关键绩效指标。
对大多数网站来说，KPI标被归结为提高收入的各种方法。但是，考虑到你的实际业务情况，KPI也会包括如下几个方面：
# 减少订单取消数；
# 增加用户反馈评分；
# 减少客服规模；
# 增加更新率；
# 减少成本；
# 改善用户生命周期；
# 增加捐助；
# 其他。
尽管KPI被你挂在嘴边，但定义正确的KPI却不是一件容易的事情。例如，你开展了一个邮件测试并测量电子邮件的打开率，如果你的最终目标是在线销售额，那么邮件打开率对你来说就不是主要KPI。
也就是说，这里你关注的是人们是否打开了你的电邮，但是，如果他们打开了，他们是否进一步访问了你的网站，并通过了转化漏斗呢？在这个例子中，真正的KPI是销售收入，邮件打开率可以看作是对收入起到很少作用的KPI。
讲这个例子的意思是，并不是所有的指标对很关键，尽管他们对转化率的提升有一些作用。
懂了这个道理，你就要时刻牢记在心定义正确的KPI并去实现并不是一件容易的事情，有时候，增加一个领域的KPI会导致另一个领域的KPI下降。
例如，如果你的目标是增加网站的销售，你可能通过改变网站来实现这个目标，但如此做可能会对电话销售的业务造成影响，如果电话销售的业绩高于网站销售的业绩，将KPI仅仅定位到网站销售可能就会给你带来困境。
因此，在定义你的KPI，并将其作为CRO项目的主要目标之前，对全局和所有渠道考虑你的实验与实施所带来的影响是十分必要的。
与此同时，与组织中的不同角色成员如何交流KPI也是一门学问。传递你的成功在建立CRO文化中是非常重要的，同时，在面对不同的同事，在交流措辞上有一些变化。
如果你和CRO的负责人交流，你可以告诉他你的想法可以增加60%的转化率。但如果你将同样的话告诉CEO，他会向你翻白眼，这就需要你转变交流的语言。
有效交流KPI的最直接方法就是使用能与你的听众产生共鸣的语言。对于CEO，告诉他这项改进将增加18%的收入，他一定会乐意与你交流，“收入”这个词比“转化率”更能抓住他的心。
所以，铭记在心，当你讨论测试目标和交流KPI的时候，使用你的听众最能理解的话语。
假设的发展
当你定义了最主要的KPI进行测试，这可能是能给你带来巨大收益的投资，你肯定已经迫不及待地着手安排测试计划。
可靠的A/B测试开始于良性结构的假设，一个假设是根据有限的证据提出的论断。没有一个成型的假设，你的测试将不会精确，测试没有意义，测试数据没有用处。
因此，好的假设是CRO项目的基础。
一个强有力的假设，应包括以下几个方面：
# 规定测试的转化目标；
# 定义目标人群，转化的问题以及建议的解决方案；
# 陈述先前的结果，描述结果将怎样改进当前的情况。
假设模版：
因为我发现了｛数据｝，以及｛反馈｝，我认为｛这么做｝，对｛目标群体来说｝，将带来以下｛结果｝。
假设实例：
因为我发现了｛产品页很低的完成率｝，并且｛用户在几秒内就离开｝，我认为｛通过增加产品信息改进产品页｝，对｛所有用户｝，将带来以下｛更多的“加入购物车”比率和增加的销售收入效果｝。
当你建立了一个清晰、强有力的假设，就会考虑进行A/B测试，为了保证测试数据的有效性，你需要先保证数据结构的有效性。
后面，该轮到一些测试和测量技术登场了，由于测试工业相对较新，许多人不知道如何正确进行测试，或者遵循什么准则，成功的CRO项目依托统计测试和有效的数据测量。
统计测试与测量技术
一个有效的数据结构，意味着你要确保数据的样本、样本的大小，以及测试的时间都要保证准确、有意义。
你的数据样本应该满足两个原则：
# 样本量要足够大，能够准确代表所有用户；
# 测试周期要足够长，能够涵盖完整的商业周期。
样本量
通常来说，样本量越大越好。但如果你的网站流量较少，短期内进行完成大量的样本测试不是一件容易的事情。
作为最基本的原则，你至少需要为每个版本（A和B）准备1000名访客来进行A/B测试。但是样本量也不是固定不变的，它取决于你测试什么，在转化漏斗的那个地方测试，以及进行什么类型的测试。
典型的A/B测试将流量分为50-50，一半的访客使用A版本，另一本使用B版本。但如果你有强烈的预感其中一个版本将胜出，你也可以重新分配流量。例如，你可以让80%的流量去测试你认为将要胜出的版本，20%去测试将被淘汰的版本，因为结果使用百分率来衡量，只要你能保证每个版本测试的人数足够就可以了。
另一个需要考虑的因素是用户细分。如果你想对特定的访问人群进行测试，例如，北美的消费者主要使用移动设备，你肯定会想让你的测试针对“北美人群”这个变量。许多软件平台，能够让你选择并进行细分用户，从而确保目标测试用户看到你希望他们看到的内容。
时间周期
一个有效测试意味着你通常需要持续两周的时间，尽管你的网站流量可能在几小时之内就能让两个版本表现出显著性差异。测试进行的时间要能够缓和重大节日、事件等造成的数据差异。另外，将你的测试运行较长的时间对再次到访的访客，也能获取更加准确的行为数据。
然而，如果你在2个月之内没有得到测试的结论，在接下来的时间里，你可能也不会得到了。因此，测试的时限应该控制在8周时间。
测试的时间也应该涵盖你公司的整个业务周期。例如，如果你的测试持续时间是3周，但公司的业务周期平均为5周，那么你将会在测试中失去很多重要的信息。
正如开始提到的，一些季节因素也要考虑在内。例如，如果你只盯着黑色星期五的业务数据，而要制定整个年度的商业活动计划，这一年估计要在纠结中度过。
置信水平
为了确保你的测试真实有效，你需要确信你的结论真实，没有虚假现象以及引用错误。
置信水平在一个范围之内确定了你的结论的可靠性。作为一个基本原则，你的测试应该至少拥有95%的置信区间。如果测试已经保证了95+%的置信区间，你依旧不能过早结束测试，而是需要足够的时间缓和一些极端值情况。
设计与开发
测试的准备工作就绪之后，你需要设计并开发一个新的版本与原有版本进行PK。
或许你可以使用你的测试软件设计新版本，但大多数情况下，你需要和网站设计人员或者开发人员合作，复杂的编码工作还需要使用JaveScript和CSS。
当你创建新版本的时候，要确保进行的是“干净的测试”，它意味着你在测试中只能改变一个元素。任何小的改变都可能造成重大的影响，因此，“干净的测试”可以确保你测试的严谨性。
确保你的测试收集有效的数据是成功进行CRO的重要环节，你需要选取正确的指标，得到真实、令人信服的结果。
但是，当你完成了测试之后，并不意味着你走到了成功的重点，真正成功的CRO项目是在对网站进行持续的优化。
这部分内容将在后续章节继续介绍...
下一节 CRO：转化率优化（四）-- 组织篇