前些日子我的好哥们安琪姐扔给我一篇Adtributor的paper，尽管已经很久没有看算法，更久没有读paper；但出于对这位专业的数据科学家的致敬，我竟然看了还推导了一遍……
算法其实挺简单，属于看懂了之后就能实现出来。此文先简单介绍一下算法原理，然后搭建一个数据产品交互界面，并以脱敏后的真实业务数据来实践，最后探讨这种数据应用的困难与局限。
算法简介
Adtributor根因分析算法目标是针对多个因素影响下，快速找出影响广告收入的root-cause维度；但我们当然可以推广至任务多维分析业务场景下。算法的基本思想要点如下：
- 只考虑单维度的作用，不考虑多维交叉的情况；即最后的root cause结果一定是某几个单独的维度，而不是多个维度交叉下的场景
- 设定两个EP阈值：
T_eep用于过滤掉单维度下低解释度的元素，T_EP用于控制维度元素集合的长度，限制低Surprise元素的加入 - 以JS散度来计算一个元素的预测值和实际值的Surprise，而一个维度下所有EP大于T_eep的元素JS散度即作为该维度的Surprise
- 最后挑选3个Surprise最大的维度，每个维度展现Surprise从大到小且累加后刚好超过T_EP的元素集合用于解释造成diff的root cause
算法伪代码如下：
伪代码
Foreach m ∈ M // Compute surprise for all measures
Foreach Eij // all elements, all dimensions
p = Fij(m)/F(m) // Equation 5
q = Aij(m)/A(m) // Equation 6
Sij(m) = DJS(p, q) // Equation 7
ExplanatorySet = {}
Foreach i ∈ D
SortedE = Ei.SortDescend(Sij(m)) //Surprise
Candidate = {}, Explains = 0, Surprise = 0
Foreach Eij ∈ SortedE
EP = (Aij(m) − Fij(m))/(A(m) − F(m))
if (EP > TEEP ) // Occam’s razor
Candidate.Add += Eij
Surprise += Sij(m)
Explains += EP
if (Explains > TEP ) // explanatory power
Candidate.Surprise = Surprise
ExplanatorySet += Candidate
break
//Sort Explanatoryset by Candidate.Surprise
Final = ExplanatorySet.SortDescend(Surprise)
Return Final.Take(3) // Top 3 most surprising
数据产品
数据处理
第一步，仍是上传数据——除了日期以外，10个维度交叉下的DAU数据。不过注意维度Group By和度量Sum一定要选，这个作为后续算法的输入。
根因分析
假如我们没有任何先验的业务知识情况下，该从哪个维度去拆解DAU的波动情况？这是Adtributor算法可以解答的。
在归因分析页面中，一共有如下参数：
- 基准日期范围：用来计算指标基准平均值
- 对比日期范围：用来计算指标对比平均值
- 日期字段：用来计算基准值和对比值
- T_eep：Adtributor算法中的T_eep，默认值取paper里的0.1
- T_EP：Adtributor算法中的T_EP，默认值取paper里的0.7
我们上传的原始数据是一个带日期的时序数据，系统根据基准日期范围和对比日期范围，拆分成2个子表，各自按日期聚合，计算对应周期内的指标平均值；然后按照所选择的维度，作全外连接，将各个维度粒度下的基准值merge在一起比较，便于算法计算。
比如我们将基准日期范围调成：2020-05-012020-05-10，基准值就是5月前10天的日均DAU；对比日期范围调成：2020-04-012020-04-30，对比值就是整个4月内的日均DAU。
基于输入的参数，最后输出算法计算的结果：输出3个超过T_EP累计Surprise最大的维度，每个维度输出Suprise超过T_eep的元素组合。
从图中的输出可以得出以下的结论：
- 影响DAU波动最大的因素依次是
平台、厂商和渠道组 - 尽管ios的EP较小，但Surprise更大，更值得关注
- 另外两个维度同理
下钻分析
然而，这里如果我们加上了后验的业务知识，就会发现以上算法的结果并没有多少额外的insight：
- 这3个维度都是常见的维度，而且输出的元素都是维度下占比较大的，本身EP较大；其实不需要算法，凭借着业务sense，也知道要拆这3个维度
- 尤其是平台这个维度，一共才2个元素，都输出了，累计EP直接到1
所以尽管经过算法的计算，这3个维度的Surprise最大，但是这个结果本身并没有surprise。
不过没有关系，数据分析工具箱在数据处理那一步就支持筛选和聚合计算，所以我们可以切片继续下钻分析。
比如我们认为ios比android更值得关注，我们就限定平台为ios，算法重新算一遍，就会得出不同的结果：
影响IOS活跃用户波动的3个主要维度：
- 兴趣标签：
社会和健康/医疗是2个最令人意外的标签，累计的EP约为120%（这里解释一下为什么EP能大于100%——当然也能小于0，因为EP的定义就是元素diff/维度diff；同一维度下，有的元素上涨，有的下跌；如果上涨或下跌的幅度超出维度总幅度，EP就会超过100%，以与反向变化的元素EP对冲） - 年龄段：30岁以上群体，变化最意外
- 活跃度：中高活的用户群，变化最意外
当然，也许这3个维度仍然处于已知的业务常识中；那我们可以在数据处理中，自由添加/删除相关维度，然后算法重新计算。这里比如我们去掉年龄段、活跃度和性别的维度，并且限定安卓平台，得出结果如下：
得出的结论又不一样，这里最重要的3个维度是：首启、厂商和渠道组。
应用局限
以上是基于真实业务数据（敏感部分已打码，未打码部门为算法指标）进行分析的过程，整个过程和结果，看起来似乎有点用，又似乎没太明显的作用；那么局限在哪里？
算法局限
这个算法的假设及计算过程本身存在局限，它只考虑单维度的作用，不考虑多维度的联合作用；事实上，在真实业务场景中，一个复杂的综合指标，不可能只由各个维度独立影响。
另外，在每个维度下遍历元素时，根据surpise排序，一旦累计Suprise达到T_EP，即不再遍历，也可能会错过重要的元素。
业务知识
算法本身不具有业务属性，数据才有。所以这个算法，并没有去计算各维度之间相关性，没有考虑维度之间的组合作用；并不能告诉用户，原始数据里那一堆维度，应该把哪些输入进去。而对于最后的输出结果，算法本身也不可能知道，这个结果有没有意义，有没有额外的surprise或者insight——它只不过是一个计算结果，而参数一旦变化，计算结果就会变。
而这个算法本身不知道参数应该怎么选，所以归根结底，它不能起到直接给用户输出结论的作用，只能起来用户指定一个方向，输出一个细分方向，以验证猜想的作用。
另外，要想给出业务建议，数据只能起来间接作用——如果能建立知识图谱，把数据里各个维度值与业务场景和可能业务行为关联起来，比如并不只是简单给出华为用户活跃下降，能结合其他维度计算，归纳出可能的业务因素，比如渠道停投、push受限等具体场景，才能真正起来直接辅助业务决策的作用。
数据体系
归因算法的预期是从多维数据里找出影响指标波动最关键的维度，那么问题来了？影响指标的root cause维度就一定在你输入的多维数据里嘛？如果输入的是一堆无关紧要的维度，输出一定是没有意义的。
所以第一个问题，对于你所关心的业务指标，它可能受影响的因素有哪些？这些因素是不是都是可以量化的，可量化的影响因素是不是都在数据仓库里建设完善？如果不是，想做归因分析，自然是非常受限的。
综上，算法只是一个技术工具，甚至可以直接引入，本身不具备关键困难；核心的问题是：如何从数据的角度去理解业务？业务的变化能在多大程度上在数据上表征？是否具有完善的数据体系？数据体系在具体的业务场景下能覆盖多大程度的变化问题？数据体系之间的逻辑关键是否严密、可靠、便于分析使用，只有解决了这些问题，做出的东西才不只是不知道怎么应用的技术工具，而是真正能帮助业务的数据产品。
可实际情况往往是：
- 业务上很多问题并不是可量化的，也不是数据能覆盖和解释的
- 很难构建一套完整、严谨、闭环的数据分析模型，能细致地、具体地、可落地地反映业务，指导业务
- 甚至连全面、严密、整洁、健壮、可靠的数据体系都很难有
这才是最难的，比推导、实现一个算法，开发几个页面难得多……
参考文献
- Adtributor: Revenue Debugging in Advertising Systems