文章名称

【SIGIR-2019】【Cornell University】Intervention Harvesting for Context-Dependent Examination-Bias Estimation

核心要点

上一节讲解了PBM和CPBM模型，把审视偏差和查询特征以及用户特征建立联系，以更准确的估计偏差，消除其对模型的影响。本节将描述作者提出的高效估计审视偏差的方法，利用多种不同策略的日志结果，作者避开了随机试验（破坏性的干预），称之为Intervention Harvesting。

方法细节

问题引入

如上节所述，我们可以利用公式来建模点击概率，并利用条件概率来表示审视偏差（这里其实隐含了相关性和审视偏差是独立的）。相比于估计，估计显然更加困难。

首先，是前者已经需要估计个条件概率了，后者是一个组合，并且所处的特征空间通常很大，所以元组非常稀疏，估计起来也更困难。作者采用神经网络进行建模，其输入从仅仅是，变成了元组。

其次，估计的准确性是很难矫正的，我们只知道的观测值，并不知道和，因此很难知道没有点击反馈到底是因为用户没有审视到该物品还是因为用户对该物品没有偏好。

基于以上描述，我们可以利用生成模型来建模点击概率[1]。假设观测数据集合为。其中，分别表示用户查询的相关特征，对应文档（物品）在推荐结果中的排序，文档的特征以及该文档是否被点击。并且，[1]在该数据集上推广得到了CPBM，其对数损失如下图所示。

conditional log likelihood objective

其中，分别表示审视概率和用户对物品的偏好。[2]表示由于两者都是隐藏变量，即便是最简单的PBM，审视偏差的倾向性得分也会存在很大的估计偏差。并且，上式不但要求学好点击率估计与审视偏差，同时需要准确估计每一个查询-文本元组的偏好（查询包括用户的特征），这其实相当于学习了另一个没有明确监督信号的推荐系统（有噪声影响）。

具体做法

为了克服没法观测到查询-文档偏好的难题，之前的方法采用了基于干预手段的方法进行调整，控制结果集的相关性。如上所述，，PBM需要估计向量。可以通过随机交换两个位置的文档使得交换前后，两个位置的查询-文档偏好的期望相同，即，其中表示给定的查询，表示被交换位置的两个文档（注意这两个文档不一定总是同样的元组）。假设在交换前后，的点击随机变量分别用表示。则可以得到如下图所示的倾向性得分比值（也就是两个概率的比值，relative propensities）因此，在交换的情况下，可以认为点击的概率就是审视概率的比值（已经与偏好无关了）。

relative propensities

由于基于反事实的ERM对常数乘子是不敏感的（乘上一个常数风险优化的最优解不变）[3]，因此只要我们锚定一个点，比如，所有的位置都和它交换，最终我们在计算ERM的时候，就相当于所有的损失都除以了，最优解和不除以它是一样的。因此，我们可以利用点击率比率来代替这个审视偏差的概率。

但是上述方法不能被应用到CPBM，原因是，控制偏好之后，我们也只能得到点击概率的比值等于在所有查询分布下，审视概率的期望的比值，即，这与我们要估计的概率比值是不同。

心得体会

交换文档位置

在进行位置交换的时候，关注的只有位置，而并不限定必须是相同，且是同一对文档元组的观测数据。因为，对所有观测数据，都把交换一次（以50%的概率），就可以保证在观测数据上，这两个位置的文档相关性是一样的。因为，同样的文档在都出现过一次！

文章引用

[1] Xuanhui Wang, Nadav Golbandi, Michael Bendersky, Donald Metzler, and Marc Najork. 2018. Position Bias Estimation for Unbiased Learning to Rank in Personal Search. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining (WSDM ’18). ACM, New York, NY, USA, 610–618. https://doi.org/10.1145/3159652.3159732

[2] Aman Agarwal, Ivan Zaitsev, Xuanhui Wang, Cheng Li, Marc Najork, and
Thorsten Joachims. 2019. Estimating Position Bias without Intrusive Interventions. In International Conference on Web Search and Data Mining (WSDM).

[3] Thorsten Joachims, Adith Swaminathan, and Tobias Schnabel. 2017. Unbiased learning-to-rank with biased feedback. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining (WSDM ’17). ACM, New York, NY, USA, 781–789. https://doi.org/10.1145/3018661.3018699

因果推断推荐系统工具箱 - CPBM（二）