背景
我们在对推荐场景的不同算法之间进行ABtest的时候，以成交为导向；但是同时，评估测试桶和基准桶的指标有客单价、点击率、转化率几种。在这个过程中发现，客单价、点击率、转化率这几个指标的变化很多时候和成交的变化有出入。比如客单价不变、转化率下降、点击率微张，但是最终的成交却增长明显；但是在另外的测试中发现，同样的指标变化，成交反而下降了。
因此对于评估指标和最终指标的关系，引起了多方面的思考。下面尝试进行推导。
公式
其中：
成交总金额/成交uv 是平均每人所花费的费用，即客单价；
点击uv是点击的用户数；
成交uv/点击uv 是点击了推荐结果的用户的购买情况，即是转化率（cvr）；
uv是看到我们的推荐结果的用户数量；
点击uv/uv 是用户的点击率（uctr）；
所以成交金额的引导可以写成公式③的形式。
另外，pv是推荐结果的展示次数；
点击pv是用户的点击次数，相对于点击uv，没有进行用户的去重；
点击pv/pv 是推荐结果的点击率，也是我们平常看的结果；
点击pv/点击uv 是看到我们的推荐结果的用户，他的平均点击次数，当然这个点击不一定带来成交。
所以，成交金额也可以写成公式⑥的形式。
公式含义解析
公式3的解析
成交总金额=uv*uctr*cvr*客单价
对于一个特定的推荐场景来说（很多时候，是指嵌在页面中的豆腐块），它是依赖于所存在的页面的，页面的流量限制了推荐场景的pv和uv；同时对于一个特定场景来说，它的客单价也是相对稳定的。具体来说，客单价是和买家本人的消费需求、消费能力相关的。买家的消费需求，在各个页面（着重指在购买路径中的不同阶段）的表现都是不相同的，所以推荐场景在不同的页面，它的表现也是不一样的；另外，买家的消费能力更是我们所干扰不到的。因此在这里我们将uv和客单价看作是不可变的；这样，影响成交的因素就集中在了用户点击率（uctr）和转化率（cvr）上面。如果需要提高推荐场景的效率，主要是要提高用户点击率和场景的转化率。
直观的来讲，uv、点击uv和成交uv的关系如下图。
在一次ABTest中，假设流量的分配方式是均匀的，如果这时拿不到准确的用户点击率的数据，我们可以采用归一化的点击uv数据进行评估。简单的来说，如果测试桶A流量为30%，测试桶B的流量为30%，基准桶的流量为40%。那么：
测试桶A的归一化点击uv为：α_A=A桶点击uv/30
测试桶B的归一化点击uv为：α_B=B桶点击uv/30
基准桶的归一化点击uv为：α_base=基准桶点击uv/40
因为测试桶和基准桶的流量分配方式是均匀的，所以可以认为每个单位流量中，uv也是相同的。这时，可以通过比较α_A、α_B、α_base来代替它们之间的用户点击率（uctr）的比较。
公式6的解析
同样的，我们把pv和客单价看作不变的量，那么这个公式告诉我们的是，在提高转化率（cvr）和点击率（ctr）的同时要降低用户的点击次数。
点击率越高，说明用户对于推荐结果的感兴趣程度也越高，但是感兴趣对于成交是没有帮助的；降低用户的平均点击次数，说明需要提高推荐的准确性，让用户尽快的找到想要购买的商品，才能更好的促进成交。
但是另一方面，ctr和用户的平均点击次数是相互影响的，所以这个公式还是有待商榷之处。如果需要仅从提高成交来看，公式3目前可以满足我们的要求。
深入讨论
根据上面的分析，我们只要关注用户点击率（uctr）和转化率（cvr）即可，似乎没有必要再把精力投入到点击率（ctr）上面了？！
也不必如此绝对。首先，uv的数据获取其实是有一定的难度的。主要是从技术上来看，推荐场景的uv并不等于场景所在页面的uv，因为很多场景目前采用了延迟加载的技术，另外如果是不通过http的方式进行请求，也是拿不到准确的uv的。相对而言，pv数据更容易获得，一次请求，记录一次日志即可。其次，仅仅通过成交来衡量一个产品，也是过于片面的，即一个场景不能仅看成交，这其实归结于产品自身的价值。
推荐产品的价值如何评估？这里有三方面的看法，分别通过公司层面、用户层面和开发者层面进行说明。
公司层面
首先，通过推荐产品可以挖掘潜在的用户，提升整体的成交；
其次，为小卖家服务，提高小卖家店铺内商品的曝光。相当于减轻马太效应，毕竟一个平台的发展，一个生态系统的发展，不能只依靠大卖家；提升小卖家的生存能力，也是非常重要的。万紫千红才是春嘛。
用户层面
这里主要是指买家。笼统而言，推荐的产品就是要提升用户的购买体验，让用户更快的找到便宜、优质的商品。
如何提升用户的购买体验？这里有三点需要考虑：1. 不要引起用户的反感。比如，在推荐结果中暴露用户的隐私，如果让不恰当的人看到，就会引起尴尬或者风险；向用户推荐的商品和用户的购买力不匹配；推荐的商品质量太差（特别是在某些看重质量的买家看来，这是不能容忍的）；折扣信息出错等等。2. 推荐的结果符合用户的习惯。比如，样式不能和其他的页面出入太多，点击商品的超链接，，一般都是指向商品详情页面的，最好不要链接到一些不知所谓的地方；销量展示统一，整个站内的导航展示的销量都是30天内的销量（即月销量），那么你就不能在没有明确说明的情况下，展示成总销量；文案处理正常等等。总之，要保证用户通过推荐场景，他的购物流程是顺畅的。3. 轻松、愉快的购物体验。这个比较难定义，而且没有统一的答案。一般而言，需要做到舒适的商品信息展示，帮助用户更快的找到宝贝，缩短用户的购物路径，给用户带来更好的商品（折扣低、质量高，等等）。
如何量化用户的购买体验？ctr不一定是个好的选择，相比而言，如果放几张诱惑性的图片，也会带来较高的点击率，但是这对成交一点帮助都没有。下面是几种选择：1. 用户对于推荐结果的分享（不局限于微博）；2. 用户直接反馈（不能直接使用，也不好采集）；3. 用户的收藏率，或者加入购物车的比例。
开发者层面
这里的开发者包括开发、产品、算法数据、测试等等。一个产品至少能都让大家有饭吃，有活干。但是如果不能在产品的发展中提升自己，那也就是相当于找了个活在干。所以在产品的发展中，让参与者获得成长，也是产品重要的价值之一。
至少可以通过直接提升技术水平和跨角色锻炼两种方式来提升自己。同时，在不损害推荐质量的前提下，可以尽量采用一些新的技术和新的解决方案。
PS. 最后吐槽下，iteye的编辑器太难用了，效率太低~~