因果推断推荐系统工具箱 - XPA（二）

文章名称

【www-2021】【google】Cross-Positional Attention for Debiasing Clicks

核心要点

上一节讲述了作者如何对具有位置偏差的数据进行建模，以及如何定义elevance examination factorization的过程。本节将继续讲解XPA的模型，以及模型的参数学习过程。

方法细节

问题引入

上一节我们讲述了，物品的被点击概率是用户对物品的偏好与物品在该session的推荐结果中所处的位置，共同作用的结果。并且，位置并不是顺序的，浏览次序也不一定是按顺序的，物品之间的位置相互关系和被该用户偏好的程度，都会影响该物品被点击的概率。

在上一节的心得体会中，我们也说道，这个和网页视觉注意力非常相似，用户的视觉热点只会集中在某些区域，并且极有可能遗漏掉其他的区域。因此，注意力是一个比较自然地建模方式（只是没有建模好的话，很难实际应用），作者正式利用了这种注意力的思路。

具体做法

作者采用crosspositional attention mechanism（交叉位置注意力机制）来衡量不同位置交叉之间的关系，建模这些交叉对某物品的被点击概率的影响。

模型的整体架构如下图所示，其中包含了1）输入特征表示；2）偏好评分；3）交叉注意力；4）审视评分；5）点击概率估计，5部分。

framework

输入特征表示

输入特征包括了session返回的推荐结果所有物品的特征与它们的位置信息，。物品特征可以直接利用其隐向量表示作为输入，而位置信息通常是常数，可以利用随机初始化的embedding矩阵，实现端到端的训练（当然，如果物品是编号也可以，但如果是编号的话，需要有个物品的全集，可能不好泛化）。

偏好评分

偏好评分部分很简单，只采用某个物品的特征向量作为输入，并利用多层神经网络（作者采用层）计算出最终的偏好得分，其公式如下图所示。

Relevance Scorer Network

交叉注意力

如上所述，用户是否审视某个物品与多种因素相关。因此作者采用如下图所示的交叉注意力机制。其中，是位置和的注意力权重，衡量了这两个位置的相互影响。是可训练的参数，并非超参数，详情参见[1]。通常视觉上相近的位置具有较大的注意力权重。所有的注意力权重元素构成了注意力矩阵。

cross-positional attention

基于上述权重，可以计算得到对于物品的交叉（注意力）作用下的特征向量和位置表示，具体计算公式如下图所示。基于注意力计算后的特征，将作为审视概率模型的输入。

cross-positional attention based representation

审视评分

审视评分分为3部分，1）物品自身位置对审视概率的影响；2）物品周边位置（注意力下的位置表示）对审视概率的影响；3）物品周边物品的相关性（注意力下的位置表示）对审视概率的影响。

第一部分和偏好评分非常类似，把物品位置标号作为输入，经过多层神经网络，得到审视评分，具体计算方法如下图所示。

Self Examination Scorer

第二部分则是把输入同样的网络，得到。

第三部分是把输入同样的网络，得到。

最后，通过如下图所示的公式合成各个部分，得到交叉位置对用户审视物品概率的影响，是需要训练的参数。

combined examination scor

值得注意的是，作者提到可以利用相关性的得分来计算注意力权重，但是可能由于前期既需要学习相关评分的网络参数，又要学习权重计算的参数，导致这种注意力机制的设计没有得到理想的效果。此外，更为复杂的注意力模型，例如多头注意力也没有在作者的尝试中获得很好的效果。

点击概率估计

结合上节讲到的公式1，并设定，，则可以得到如下图所示的概率估计公式。如果只带入将得到类似PBM的结果。

click probability

训练

最终作者利用在收集到的session数据上优化点击率交叉熵损失的方法，学习模型的参数。具体计算公式如下图所示。

training loss

作者提到，也可以把交叉位置注意力机制和其他debias L2R的模型（主要是损失函数）进行结合。

心得体会

核心网络

模型的核心网络只有两个，通过把不同的特征分别输入这两个网络得到对应的相关性、审视概率估计值。利用注意力机制，从原始特征中学习到注意力下的特征表示。

其他注意力机制

如作者说，其他注意力机制，或者利用其他输入做的注意力机制没有去的很好的效果。如果是训练难度的问题，也许可以采用退火的方法来平衡学习过程，比如先全部依赖位置注意力，逐渐依赖相关性注意力权重。

多头注意力机制，应该是由于用户只会有一个比较主要的注意力源而比较少发散，倒是可以考虑采用多种输入来作为多头的权重学习（纯猜想，不知道效果如何）。

文章引用

[1] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. 2015. Effective Approaches to Attention-based Neural Machine Translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 1412–1421.