文章名称

【www-2021】【google】Cross-Positional Attention for Debiasing Clicks

核心要点

文章旨在解决非瀑布流（网格）等复杂排版UI下，用户审视推荐结果过程中带来的数据偏差，对推荐模型效果的影响。作者提出XPA模型，利用注意力机制，建模任意排版模式下，复杂位置交互的隐式反馈，并同时预测物品点击行为和用户对物品的偏好。

方法细节

问题引入

利用隐式反馈数据训练推荐模型的一大挑战是观测数据中天然存在的偏差（inherent bias）。现有模型都基于相同的用户审视推荐结果行为的假设（按顺序浏览的行为假设，我们称这种模型为Position-Bias Model，PBM[1]或Cascade Model，CM[2]），只是用不同的方法来建模这种假设带来的偏差。实际上，真实场景可能不止顺序浏览造成的位置偏差（其实就是UI不光只有瀑布流，还有类似网格设计的），如何建模偏差对模型的性能是至关重要的。因此，需要利用不同的建模方法来建模这种审视偏差（感觉作者是为了区别于顺序流的位置偏差而特别使用了审视偏差）。

此外，基于位置的模型，并不能够反映用户对其他位置的推荐结果的偏好，对当前位置结果的审视概率的影响。

具体做法

假设用户推荐的session用 $s_i = (X_i, P_i, c_i)$ 表示，其中 $X_i=\{ \textbf{x}_{ij}\}_{j=1}^m$ 表示在session $i$ 中展示的物品， $m$ 表示这个session展示的物品总个数， $\textbf{x}_{ij}$ 是物品的特征向量。 $P_i = \{ p_{ij}\}_{j=1}^m$ 表示这些被展示的物品所在的位置编号（处在UI的什么位置）。注意这里 $p_{ij}$ 是标量。同理， $\textbf{c}_i$ 的元素 $c_{ij}$ 表示session $i$ 中的第 $j$ 个元素是否被点击了，其取值为0或者1。

值得注意的是，为了通用作者没有限制 $p_{ij}$ 和 $c_{ij}$ 之间的顺序关系，也就是说，不要求 $j$ 序号较小的一定在 $j$ 较大的前面（一般顺序，瀑布流会有这种假设）。

基于上述假设，模型可以在观测的训练集 $S_{Train}$ 上被训练，目标是估计点击的条件概率 $P(c|X, P)$ ，即在给定物品集合和位置的时候点击的整体情况（点击向量）是什么样的。

通常情况下，物品被点击的概率可以被分解为两个部分的要素，1）用户审视推荐结果的可能性；2）用户对物品的偏好[3]。偏好和物品处在推荐结果中的哪个位置是无关的，只与其自身的特征有关系。而审视结果（用户是否会看到这个物品）是和位置有关系的，甚至和其他一些物品的特征，甚至是其他物品的所在的位置有关系。例如，一个物品旁边有个爆款商品，就会导致该物品没有被注意到，因为注意力都到了爆款身上。同时，如果爆款里当前物品比较远，甚至这个被观测到的概率就更低。

可以看出，用户点击物品和用户对物品的偏好中间存在着审视可能性带来的偏差，也就是说点击不代表偏好，没点击也不代表不喜欢。可以用如下图所示的方法，建模一个session下的条件点击概率，其中 $r(\textbf{x}_j)$ 是用户对物品 $j$ 的偏好， $e(\textbf{x}_, _j, \textbf{X}, \textbf{P})$ 是用户审视物品 $j$ 的评分，而 $f(\cdot), g(\cdot), h(\cdot)$ 分别表示3个抽象的转换函数，可以是各种模型。

conditional click probability

上述模型可以把点击概率分解为如下图所示的式子。假设式子1中的 $r(\cdot) = \mathbb{P}(R_j=1|\textbf{x}_j)$ 并且 $e(\cdot) = \mathbb{P}(E_j=1|\textbf{X}, \textbf{P})$ ，并且 $f(x) = exp(x), h(x) = g(x) = log(x)$ ，则两个式子是等价的。也就是说，点击概率可以分解为相关概率和审视概率的乘积。

relevance examination factorization

定义 $\hat{c}_j$ 表示 $P(c_|\textbf{X}, \textbf{P})$ 的预测值，那么整个推荐点击模型的建模和学习问题可以定义如下。给定观测session数据 $S_{Train}$ 利用公式1，学习点击率预估模型 $\hat{c}_j = P(c_|\textbf{X}, \textbf{P})$ ，并可以利用学得的 $r(\cdot)$ 来预测用户和物品的相关性。

到这里，我们已经描述了问题的定义和模型的建模方法，下一节介绍如何进行模型参数的求解。

心得体会

审视偏差

审视偏差和位置偏差，其实都是描述由于某种原因，用户没有看到某个推荐的结果。通常出现的偏差是瀑布流场景下，排序靠后的推荐结果没有被用户观察到。但是，在网格排版这种场景，可能由于视觉注意力的问题，导致不同位置的物品没有配观察到，这种偏差不能仅仅用顺序或位置的排列来描述，需要特别建模。

Position-Bias Model与Cascade Model

其实CM是典型的瀑布流观察行为假设，只是还有一个强加假设是，用户只要发现了一个相关的文档就退出了这次反馈结果的浏览。事实上，用户可能回退到相同的推荐结果（瀑布流）中，继续浏览。此时，PBM能够更好地反映这个问题。不过，PBM其实也可以适用于其他layout的假设，只要用户的审视行为和结果只和位置相关。

审视偏差与位置关系

审视偏差是视觉注意力的体现，在一个信息过载的页面上，我们很难看到所有东西，大概率会被一个主要的物品所吸引，随后关注到该物品周边，或者不远的物品。因此，作者选择注意力模型其实是很自然的。

点击概率拆解

如果把点击概率分解为相关概率和审视概率的乘积，其实体现了两个概率独立性，表明它们在计算点击概率时的作用是可以独立计算的。当然，由于使用了特定的函数设置，其实不同的 $f(x), h(x), g(x)$ 可以表示不同的概率依赖。并且公式1中的求和项也是人为设定的， $g(\cdot) + h(\cdot)$ 也可以换为其他形式。

Session数据是特定用户的？

文章中似乎没有解释， $S_{Train}$ 是否来自同一个用户，如果并非来自同一个用户，那么应该需要利用用户的特征来进行预测。

文章引用

[1] Matthew Richardson, Ewa Dominowska, and Robert Ragno. 2007. Predicting Clicks: Estimating the Click-through Rate for New Ads. In Proceedings of the 16th International Conference on World Wide Web. 521–530.
[2] Nick Craswell, Onno Zoeter, Michael Taylor, and Bill Ramsey. 2008. An Experimental Comparison of Click Position-Bias Models. In Proceedings of the 2008 International Conference on Web Search and Data Mining. 87–94.
[3] Aleksandr Chuklin, Ilya Markov, and Maarten de Rijke. 2015. Click Models for
Web Search. Morgan & Claypool.

因果推断推荐系统工具箱 - XPA（一）