漫谈广告机制设计 | 混排：广告与自然结果的交锋博弈（2）

话说前文，在彼此不同的利益面前，自然侧和广告侧在混排战场展开了一番较量，一个浑水摸鱼，一个暗渡陈仓。最终双方不得不坐下来，为了平台整体的利益，一起谈谈各自的诉求，商讨一下解决方案。

第三回：展绝技循序渐进，外部性难舍难分

最开始采用混排采用固定位的方式，当一个流量到来时，请求会同时发送到自然结果检索系统和广告检索系统，前者根据对应的目标进行排序截断形成一个有序列表返回，后者往往根据eCPM指标进行排序截断形成另外一个有序列表返回，混排系统系统需要对这两个有序列表进行混合排序，把广告放到预先约定好的固定位置上，这个过程中自然结果内部序和广告结果内部序均不改变。这种方式逻辑简单，性能好，自然结果和广告的检索是并行的，后续混合排序也不涉及复杂计算。

但固定位存在一些问题，对广告侧而言，即使广告质量再好，出价再高，也拿不到更好的位置和更优质的流量，难以进一步撬动广告主投放意愿，阻碍广告预算消耗和投放效果；对于自然侧而言，即使自然结果质量再好，广告质量再差，自然结果也不能抢占广告的位置，对平台整体用户体验，交易额等指标有损。

因此自然侧和广告侧其实都希望将混排动态化，即位置的分配能够动态化。虽然希望很美好，但问题也是十分尖锐的。第一个问题就是用什么指标来评估混排？

各方关注的指标不一致，很难找到一个共同的目标来做混排，更不可能将其交由第三方了。即使下面介绍的一些混排算法，也没有解决这个问题。或者说这个根本就不是个问题。这个目标应该是上层老板们在用户和广告之间做的价值权衡。在漫谈广告机制设计 | 谷歌为广告机制付出的214亿美元专利费，让我想起了被驳回的专利中提到过，在机制上取得的收益往往是来自上层对各个目标的权衡，做广告算法的同学对此要有清楚的认知。

但问题总要解决，第一个解决思路很自然而然：将各方关注指标进行加权融合成一个指标，然后将自然结果和广告重新按照这个统一的指标进行排序，各个目标的权重根据整体业务需要进行设置，变成了一个多目标优化问题。LinkedIn的论文Ads Allocation in Feed via Constrained Optimization中介绍了类似的做法，具体细节在后续的文章中介绍，本文先仅概括思想和分析问题。统一指标的做法在广告和自然的实践上存在一些问题：

1）混排前广告和自然侧在各自的排序环节使用的指标与该统一的指标往往是不一致的，比如广告侧可能只考虑eCPM，自然侧只考虑用户体验指标，统一指标会导致广告内部排序和自然内部排序发生变化，这个至少在广告侧是不允许的，因为广告采用的是拍卖的形式，位次分配与商业利益直接挂钩，不能随意改动（后续会介绍激励兼容和个体理性等商业指标限制）。既然广告侧的排序不能动，那只能让自然侧排序按照广告的逻辑走了，如将评估自然结果的指标货币化，即这些指标用钱来衡量，然后在混排中和广告进行PK。

2）在工程上一般由自然侧完成混排操作，那统一的指标怎么计算融合呢？如果重新预估，那么系统性能会增加；如果采用自然侧和广告侧透传下来的预估指标，那两者在预估模型上是存在差异的，并且任何一方都有作弊的动机。根据已发表出来的混排算法论文显示，头条和字节由广告侧决定广告展现的位置，并且用到了自然侧排序的结果，这个时候整个混排检索框架变成了自然侧检索和广告侧检索串行的结构，系统性能会提升。

3）以统一指标进行排序，每个广告和自然均是独立的计算排序分，这是一个point-wise的方式，这种方式存在的问题是没有考虑广告和自然的相互影响。这个相互影响表现在多个方面：第一个是广告和自然不同的排序影响各自的指标变化，如点击率、转化率等，在广告侧称之为外部性（位置外部性和上下文外部性）；第二个是在信息流场景中，说上面的混排结果可能对后面混排策略的影响；第三个是广告侧以哪个指标（eCPM=bid*pctr还是CPM=cpc * pctr)加入到统一排序指标中呢，理论上采取任何一个都是不合理的，对广告侧的影响不仅仅影响广告在混排的位置，应该考虑广告内部序的变化，简而言之就是广告自然各自独立排序再混排是不合理的，因为这个忽略了混排位置和上下文对广告排序和自然序的影响。

字节的DEAR（论文Deep Reinforcement Learning for Online Advertising in Recommender Systems）针对三个问题是这样考虑的，首先不再采用统一的指标衡量每个自然结果和广告结果，然后采用串行架构，由广告侧根据自然侧排序好的结果，决定是否插入广告，在哪插入广告，插入哪个广告。最后通过强化学习的方式将相互影响中的第一个和第二个考虑进来，遍历单一个广告在每一个位置上取得的预估效果，进行选择和奖励。这里面对第三个影响没有考虑。另外聪明的读者会发现“插入哪个广告”这个选择项意味着会改广告的相对序，这个是不符合广告拍卖规则的。

腾讯微信看一看的HRL-Rec（Hierarchical Reinforcement Learning for Integrated Recommendation）不是针对广告和自然混排设计的，这里不再描述。

美团的Cross DQN（Cross DQN: Cross Deep Q Network for Ads Allocation in Feed）在DEAR的思想上做两个改进：DEAR仅考虑单个广告的位置选择问题，Cross DQN通过遍历所有广告和自然的组合进行列表级别的选择；另一个是Cross DQN不会改变广告的相对序，保持广告拍卖机制的激励性质。

阿里妈妈的 HCA2E（Hierarchically Constrained Adaptive Ad Exposure in Feeds）类似框架，主要考虑了混排中不打乱广告原有排序下，在以展现占比作为约束条件下，进行多目标优化。看文章应该没有考虑相互影响的问题。

在这些混排解法循序渐进地解决广告位置分配问题，考虑广告位置约束，广告与自然结果的相互影响，广告的激励性质等。但广告的外部性问题仍然解决得不完美，广告和自然各自排序解耦再混排的框架下对该问题考虑不足。另外仍然没有回答相互影响中的第三项，这个也是一个外部性问题。

当广告和自然还在秀各种绝技的时候，有个变现实践以迅雷不及掩耳盗铃之势袭来。

第四回：道德失信仰崩塌，统天下全站一价

在第二回中，我们聊到当广告侧主导混排时，广告展现占比对广告侧而言不是很强的约束，可以通过分位次曝光置换的方式暗渡陈仓。有聪明的同学可能会想到，约束一下分位次的广告展现占比不就行了？广告侧可以通过置换检索级别的曝光（高CPM检索位置提前，低CPM检索位置放后）暗渡陈仓。那么自然侧是不是可以考虑直接拿他们关心的指标进行限制呢？

在一些场景中，对于广告主而言，一个Item既可以作为自然结果获取流量，也可以作为广告结果获取流量。那么当自然侧和广告侧的返回列表中同时包含同一个Item时，该怎么处理呢？在基础的商业道德限制下，果自然侧已经将其排在第一位的时候，这个Item就不能作为广告（收费）了，因为广告没有带来更多的价值（uplift）。这个是否遵守完全就看平台是否真正为广告主考虑了，这是一个道德和信仰问题。

事实上，即使广告侧暗渡陈仓，在约束了广告展现的情况下，可优化空间还是有限的。在收入持续增长承压的情况下，广告侧肯定还是千方百计地突破展现限制，增加广告填充率（adload)的，这和搜索广告放松相关性限制扩召回抢广告位是一个道理。

在公司收入增长面前，广告侧彻底打败了自然侧，自然侧也别争了，位置全部交由广告侧分配，目标和广告侧对齐，全站产品或者全域产品横空出世，统一天下。可以看看字节巨量全域推广产品https://bytedance.feishu.cn/docx/RxbrdXs1koSIQlxpgN4ci5TRnhf）。

对于平台侧而言，自然侧不对广告侧做限制了，用统一指标进行排序，这个指标反映上层老板对整个流量的价值分配，极有可能是统一拉到变现价值上，变现价值包含广告、佣金等，广告侧可以通过出价撬动所有流量。更有甚者，也别什么外部性不外部性了，咱们全部一价售卖，当然在oCPX下本来就是一价。

对广告主而言，可能在新的标准下，也许之前不投放广告（通过好的产品和服务）就能占据好位置的情况不好遇到了。这天下没有免费的流量了。

第五回：垄断成型修罗场，风云变幻再轮回

我们回顾一下拼多多能起来的重要原因是：商家的佣金低，商品价格低。在平台未形成垄断之前，商家可以通过低价优惠用户，不投广告的方式获取大量流量和订单，形成了一个正循环，平台越来越大。

但平台不是慈善机构，必须考虑变现，当垄断成型或者上市后追求持续增长时，变现的动力或者压力越来越大。天下没有免费的流量会越来越受到重视。商家不得不把原本给用户的优惠转做买流量的竞价广告费，而在全新的竞价机制中，广告主找不到使得自己利益最大化的策略和方法，平台变成了广告主挣扎的修罗场，而此时新的平台会在某个时刻走上打破这个规则的路，为广告主和商家带来一波新的红利，但在风云变幻中新平台不过也是老平台的又一次轮回。

下集精彩预告《万剑归宗：聊聊广告机制设计与收入提升的秘密》，敬请期待。