搜索推荐炼丹笔记：位置偏差里的惊喜

PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems (RecSys2019)

作者：一元，公众号：炼丹笔记

准确预测点击率（CTR）是推荐系统的关键。一般来说，CTR模型是基于从流量日志中收集的用户反馈来训练的。

然而，位置偏差存在于用户反馈中，因为用户点击某个商品不仅是因为她喜欢它，而且因为它处于一个好的位置。

一种方法是将位置作为训练数据中的一个特征进行建模，由于其简单性，在工业应用中得到了广泛的应用。特别地，由于实际位置信息在那时不可用，因此必须使用默认位置值来预测在线推断中的CTR。但是，使用不同的默认位置值可能会导致完全不同的推荐结果。因此，这种方法导致次优的在线性能。针对这一问题，本文提出了一种位置偏差感知学习框架（PAL），用于实时推荐系统中的CTR预测。它能够对离线训练中的位置偏差进行建模，并在没有位置信息的情况下进行在线推理。在为期三周的AB测试中，大量的在线实验证明PAL在CTR和CVR（转换率）方面比基线高出3%-35%。

一个用户点击一个商品不仅仅是因为用户喜欢该商品，还有可能是因为该商品处在一个非常好的曝光位置。

之前处理该问题一共有两种方案：

1. 使用IPW(inverse propensity weighting):对位置信息应用用户定义的变换，然后固定变换后的值。这么做很难为位置信息手动设计一个好的转换，这导致效果比自动学习的转换差。
2. 将位置信息当做特征输入：但这么做在在线推断中，必须使用默认位置值来预测CTR，因为此时实际位置信息不可用。使用不同的默认位置值可能会导致完全不同的推荐结果，从而导致次优的在线性能。

本文提出了一个位置偏差感知学习框架（PAL）来模拟离线训练中的位置偏差，并在没有位置信息的情况下进行在线推理。

PAL的思想是基于这样一个假设：用户点击某个商品的概率取决于两个因素：

• 用户看到该商品的概率；
• 用户点击该商品的概率；

假设用户看到了该商品。每个因素在PAL中被建模为一个模块，这两个模块的输出的乘积就是用户点击某个项目的概率。

如果对两个模块分别进行优化，由于两个模块的训练目标不一致，可能导致整个系统处于次优状态。为了避免这种局限性，提高CTR预测性能，PAL对两个模块同时进行了优化。一旦这两个模块通过离线训练得到很好的训练，第二个模块即用户点击该项目的概率（假设该项目已被用户看到）就被部署来预测在线推理中的CTR。

之前处理该方案的策略有：将position-bias当做是一个特征或者似乎一个模块。

1. 作为特征

将位置信息建模为一个特征， 线下训练的时候，我们将其作为特征向量并且拼接输入到模型当中,

这么做就要求我们在在线推理时也需要有输入，默认值的话会带来次优的效果，而如果枚举position信息的话又会导致时间增大，不能接受，所以这么做泛化性会较差。

2. 作为模块

针对以上以将位置信息作为特征的局限性，本文提出了一种新的以位置信息为模块的框架，以便在离线训练中建立位置偏差模型，在没有位置信息的情况下进行在线推理。

我们的框架是基于这样一个假设，即一个商品只有在被用户看到时才被用户点击。更具体地说，我们认为商品被用户点击的概率取决于两个因素：

• 商品被用户看到的概率；
• 用户点击商品的概率;

假设商品被用户看到，那么我们有：

我们做进一步的假设：

• 一个商品被看到的概率只与相关位置被观察到的概率有关；
• 一个商品被点击的概率是和位置无关的;

我们提出的框架可以基于上面的等式并且由两个模块组成。

• Baseline:The baseline framework refers to “as a feature" strategy

• 不同的位置k对于Base的影响很大。

• 我们注意到线上线下都得到了一直的提升;

我们提出了一个PAL框架，它可以在离线训练中对训练数据中的位置偏差进行建模，在在线推理中可以在没有位置信息的情况下预测CTR。与基线相比，PAL在为期三周的在线AB测试中有更好的结果。大量的在线实验结果验证了该框架的有效性。

参考文献：

1. PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems:https://dl.acm.org/doi/pdf/10.1145/3298689.3347033

更多干货，请关注微信公众号：炼丹笔记