“我们测试了,失败了。”
在A/B test的世界里典型的借口是猖獗的, 但它会忽略一个事实:一个概念本身是完全不同于一个概念的执行的。想法经常会不断涌现。之前的失败往往被贴上失败,他们从来没有让它的新门。
“是的,多年前我试过这个想法, 但是没有成功。”
这个快速否决的心态可能是有害的,如果没有认真核实过以前的test。因为Booking.com进行A / B测试大约十年了,有时似乎一切都已经尝试过。尽管我们做了很多测试,失败了很多次,有些许成功, 但是我们可以为客户和使用网站体验改善的地方还有很多。这就是为什么我经常对这样的话不屑一顾,“好吧,确切的说,你测试了什么想法，多久以前?”
他们以前做的的A / B测试接近现在新提出的方法吗？如果是这样,运行了多长时间?它是如何影响用户行为?和他们是110%确定没有BUG或者在执行中没有可用性问题吗？
“失败的方法总比成功多很多。”
当我听到一个可靠的概念失败时，我有一系列的问题要问。这个列表来自我的经验,这些经验都是从失败的测试中总结出来的。
这句话相当悲观,这是有原因的。我已经做了足够的A / B测试(从初始概念到具体的技术实现角度)来掌握可能会导致一个好主意灭亡的潜在变量。
一个看似无关紧要随意的变化或难以界定设计缺陷带来的消极影响足以抵消任何积极的影响。
下面是一些具体的例子
可以让好的想法失败
由于不理想的实现技术增加了页面加载时间
你使用了一些大图片,沉重的CSS,或者一些执行力差的JS ?你一直关注任何可能出现的新错误吗?保持一个密切关注所有重要网站统计,因为更改用户“看不见的”变化和内容和视觉变化一样有影响力。
略微错误的对关键元素颜色、字体或字体大小的选择
引人注目的最重要的信息,清晰吗?
即使看起来微不足道的衬线字体使用在错误的地方可以有负面影响。
大小或位置不当的特性关系页面上的其他内容
做的东西你添加或重新设计采取的注意力从页面上的另一个关键要素?
你删除别的内容来放新的功能了吗?
如果你添加的内容不能影响任何用户与页面的交互，那么你做的事情就没有意义。设计师往往高度集中在他们做的新功能上, 忘记了它改变周围的东西。
错误的时机
你实现了一个工具提示,一定时间后消失了吗?你添加的内容在一个特定的时间是有意义的,只有今年?
显示特定类型的信息太快,太迟了,或者不给人足够的时间来熟悉你的目的内容有时会产生相反的效果。
边界情况的场景中的BUG
有呈现问题很少使用浏览器或设备?它在平板电脑上和在桌面一样有用吗?如果网站是多语言,一切都合适的翻译，正确的本地化吗?
如果足够的这些边界情况结合在一起,他们的累积效应是消极的。然而,这是一个全面的A / B测试框架的好处!您可以用工具分析失败测试的用户代理,浏览器类型和国家。每个用户在你的网站上应该有一个很好的体验, 解决这些问题可以将。A / B测试可以帮助确保为每个人有高质量的体验。
做大,小和/或不必要的变化不是与生俱来就与原始概念,这可能会产生意想不到的后果
你改变一行文案,同时也使大/小或添加新的颜色?
如果是这样,那么你已经污染的概念测试。我看到过在测试颜色时，改变了字体大小,从而导致了可靠的和可重复的概念失败。
嘈杂的track
你是测试一种新的流程或不同的互动?你添加或修改的内容没有立即在页面上可见吗?
追踪用户只有当他们实际上是暴露在视觉变化或与不同行为的元素交互。如果你track的用户没有看到或使用这个想法,然后他们成为数据噪声和稀释了结果。如果你的track中有足够的噪音，你就不能听到您的用户试图告诉你的信息。
观众是谁?
谁看到了改变?是对所有访客所见吗?他们是来自电子邮件，其中设置一个特定的期望他们会看到什么?他们来自一个付费广告或搜索?他们直接输入网址吗?他们是新用户或返回的游客?他们以前购买过吗?
客户的入口和使用网站的历史影响他们如何与内容交互。越多你越能把最相关的用户作为目标用户,你越有可能能够创建有意义的交互,使metrics向好的方向前进。
低流量
你的测试只包括一小群用户，并且接触到一个非常微小的改变?
想在一个低流量的网站获得一个大的测试结果,您的更改需要更大、更大胆才行。换句话说,你的想法也许是成功的,但你不能从数据上看出来。变化的大小与你的流量是有关的。
一个想法的时间吗?
你什么时候测试这个概念?错过了相当好的时间过,但问题还没有解决吗?
今天不工作可能明天工作,今天昨天工作可能会阻碍你。
我们设计的产品必须和我们为之设计产品的用户一样是动态的。
人是动态的,他们的期望改变了他们,和他们周围的世界一同发展。这就是为什么我们设计的产品是动态。
设计师往往可以领先,因为我们时刻紧扣时代脉搏。设计趋势、最新的HTML和CSS的技巧和华丽的技术集成可能看起来很酷,但是大多数时候我们期望的和典型用户感觉舒服的方式完全不一样。
“我们为普通人设计在当今使用的产品。”
我总是试着提醒自己,今天我为普通人设计产品使用。
去年不习惯使用滑动手势的人今年可能会期待看到他们。过去经常使浏览器崩溃的代码能够在几年之后解决这个问题，随着硬件变得更强大。
这些是在我的设计中偶然发现的最常见的问题
这就是为什么获得对概念测试的深度理解,和把握系统的复杂性一样重要,加上完美的解决方案的实现,这些都是想法最终的成功所必需的(或失败)。
这里有一些事情要记住当你设置你的下一个A / B测试:
记得仔细浏览复杂的重要性干净地测试您的概念。有许多潜在的故障点。
积极的,消极的或中性的结果有助于未来相同概念的迭代或可以提供你洞察新的假说，并且进行测试。
每个A / B测试,尽管其规模或范围,应该得到相同的关注。没有合适的假设和metric的扔出想法一定会提高测试失败和成功率。
明白一个消极的或中性的结果并不一定意味着什么都没有得到。“这些研究结果也可能是说,“不完全正确”或“现在还没有。“你测试越多,你越会发现“什么都没得到“实际上的意思是“不正确”。
但是等等!有更多的…
有时,然而,一个概念是如此强大,它甚至可以在最糟糕的执行下存活。我相信你经历过主要网站的特性或功能非常有用但缺乏视觉改进或有一些不幸的可用性问题的例子。这常常让我face-palming的时刻。
“有时候一个糟糕的执行阻止一个好主意的成功。相反,一个伟大的想法在糟糕的执行下也会成功。”
所以,这是双向。有时一个糟糕的执行成功阻止一个伟大的想法,但有时一个伟大的想法尽管是偶然间获得成功。
“平均”和特别以数据驱动的设计师的却别是,他们意识到“概念!=一个执行