论文《Implicit Feedbacks are Not Always Favorable: Iterative Relabeled OCCF against Noisy Interactio》阅读

今天带来的是由中科院、国科大、中山大学以及鹏城实验室联合出品的关于隐性反馈推荐场景下正反馈噪声消除的作品，发表在ACM MM 2021上，值得推荐。

论文概况

隐式反馈（implicit feedback）场景，本文称之为单类协同过滤（One-Class Collaborative Filtering, OCCF），不同于显示反馈中通过打分来表达喜好，是通过 0/1 的方式（浏览或非浏览、购买或未购买）,显然带有很多的噪声。

以往的模型关注于负例中的噪声，即与用户没有交互的物品，用户也不一定不喜欢。在本文中，作者首度关注到了正反馈中的噪声，即与用户交互过的物品也不一定都是作者喜欢的，可能是广告营销点进去的，可能是不小心点错点进去的，等等。

本文即聚焦于此，通过提出一个基于迭代重标注（iterative relabeling)过程的自监督学习（Self-Supervised Learning, SSL）框架，完成单类协同过滤中的隐式反馈噪声去除问题。

主要贡献及亮点

1. 迭代式重标注方法
2. 基于自监督的SSL 前置任务（或代理任务，pretext task）方法设计
3. 伪正例隐式反馈（spurious positive implicit feedback）噪声去除

方法论

方法论部分一言以蔽之可以概括为：由于原始的interaction数据中存在噪声，作者基于SSL设计了一个prediction model和一个relabeling process，这两部分相辅相成促进了用户交互历史的提纯。通过迭代上述过程，用户的真正喜好被提取。上述过程即代理任务，提高了数据分布合理性。在此基础上，下游任务的性能就可以提高。具体地，作者使用BPR或者MLP完成具体推荐任务，用于验证SSL的有效性。

prediction model 使用 BPR 方法，通过向量内积计算交互分数，对用户的预测结果进行排序，（1）首先是正例：绝对靠前（前 $n_{+}$ 个）的叫做confident positive items，比较为 $1$；绝对靠后的（后 $n_{-}$ 个），认为是噪声，叫做confident negative items。中间的一些看比例，相对靠前标 $1$，相对靠后标 $0$。（2）其次是负例，靠前（负例中前 $n_{+}^{unobserved}$ ）的负例也标为 $1$，即负例中的noise。

重新标记完事之后，把数据重新喂给prediction model，以此类推，迭代进行，直到收敛。

完事以后，拿训练好的用户与物品的embedding对用户与物品向量进行初始化，在得到的提纯过的交互矩阵上，通过简单的推荐模型完成推荐。

看上面的 Architecture 图比较好理解，看论文原文方法论部分由于符号太多反而不易梳理。下面进行详细又简单地介绍。

Pretext Task (Prediction + Relabeling)

Prediction Module

预测模型通过简单的内积方法及BPR损失完成，具体如下：

$$\underset{\theta }{\min }-\sum _{(u,i,j)\in \mathcal{T}}\log \sigma \left({\mathbf{v}}_u^{\top }{\mathbf{v}}_i-{\mathbf{v}}_u^{\top }{\mathbf{v}}_j\right).\text{\hspace{1em}(1)}$$

通过上式对预测模型 $p_{\theta }$ 进行训练，得到最终的 embedding 表示 ${\theta }^{\ast }=\left\{{\mathbf{v}}_u^{\ast },{\mathbf{v}}_i^{\ast }\right\}$。用户 $u$ 与物品 $i$ 之间的预测分数表示为内积如下：

$$s_{u,i}=f\left({\mathbf{v}}_u^{\ast },{\mathbf{v}}_i^{\ast }\right)={{\mathbf{v}}_u^{\ast }}^{\top }{\mathbf{v}}_i^{\ast }.\text{\hspace{1em}(2)}$$

Relabeling the Positive Labels

$$s_{u,1}^{\downarrow }>s_{u,2}^{\downarrow }>\cdots >s_{u,|I_{u+}|}^{\downarrow },u\in \left[n_{\text{user }}\right].\text{\hspace{1em}(3)}$$

$I_{u+}$ 即用户 $u$ 的正例集合，上式就是保持整理个数，重新排序，同时规定一个confident positive 个数 $n_{+}$，前面的即为绝对正例，表示为 ${\mathcal{I}}_{u+}^{\text{top}}$。即：

$${\mathcal{I}}_{u+}^{\text{top }}=\left\{i:s_{u,i}\ge s_{u,n_{+}}^{\downarrow }\right\}.\text{\hspace{1em}(4)}$$

规定confident negative 个数 $n_{-}$, 后面的就是绝对负例，即：

$${\mathcal{I}}_{u+}^{\text{bottom }}=\left\{i:s_{u,i}\le s_{u,n_{-}}^{\downarrow }\right\}.\text{\hspace{1em}(5)}$$

绝对正例标 $1$ ，绝对负例标 $0$， 表示如下：

$${\hat{y}}_{u,i}=\{\begin{array}{ll}1,& i\in {\mathcal{I}}_{u+}^{\text{top }}\\ 0,& i\in {\mathcal{I}}_{u+}^{\text{bottom }}\end{array}\text{\hspace{1em}(6)}$$

对于待标注的剩余正例样本，采用 2-范式 距离乘以系数 $\alpha$ （超参）的方式进行判断，具体如下：

$${\hat{y}}_{u,i}=g\left({\mathbf{v}}_i^{\ast }\right)=\{\begin{array}{ll}1,& \alpha {\Vert {\mathbf{v}}_i^{\ast }-{\overline{\mathbf{v}}}_{u+}^{\text{top }}\Vert }_2<{\Vert {\mathbf{v}}_i^{\ast }-{\overline{\mathbf{v}}}_{u+}^{\text{bottom }}\Vert }_2\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(7)}$$

其中， ${\bar{\mathbf{v}}}_{u+}^{\mathrm{t}\mathrm{o}\mathrm{p}}=\frac{1}{n_{+}}{\sum }_{i\in {\mathcal{I}}_{u+}^{\mathrm{t}\mathrm{o}\mathrm{p}}}{\mathbf{v}}_i^{\ast },{\bar{\mathbf{v}}}_{u+}^{\mathrm{b}\mathrm{o}\mathrm{t}\mathrm{t}\mathrm{o}\mathrm{m}}=\frac{1}{n_{-}}{\sum }_{i\in {\mathcal{I}}_{u+}^{\text{bottom }}}{\mathbf{v}}_i^{\ast }$, $\alpha$ 是用于衡量距离的超参。

上述示例表示为 $I_{u+}^{\text{potential }}$ ，具体如下：

$$I_{u+}^{\text{potential }}=\left\{i:{\hat{y}}_{u,i}=1,i\in {\mathcal{I}}_{u+}\backslash \left({\mathcal{I}}_{u+}^{\text{top }}\cup {\mathcal{I}}_{u+}^{\text{bottom }}\right)\right\}\text{\hspace{1em}(8)}$$

Relabeling the Negative Labels

同理，负例中也有noise。一样的思想，靠前的可能是正例，靠后的铁定是负例。因此，排序如下：

$$s_{u,1}^{\downarrow }>s_{u,2}^{\downarrow }>\cdots >s_{u,|I_{u-}|}^{\downarrow },u\in \left[n_{\text{user }}\right]\text{\hspace{1em}(9)}$$

排序的label分配如下：
$${\hat{y}}_{u,i}=\{\begin{array}{ll}1,& s_{u,i}\ge s_{u,n_{+}^{unobserved}}^{\downarrow };\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(10)}$$
其中， $n_{+}^{unobserved}$ 表示负例中的标记为 $1$ 的数量。

Iterative Relabeling

上述过程循环 $t$ 次，将最后一次得到的标签作为最终下游任务的输入数据集，同时将 user 和 item 的embedding作为预训练向量。

具体公式如下：

排序过程如下所示，对正例个数和负例个数进行排序：

$$\begin{array}{l}{s}_{u,1}^{(t)}>\cdots >s_{u,k}^{(t)}>\cdots >s_{u,|I_{u+}|}^{(t)},u\in \left[n_{\text{user }}\right],k\in I_{u+}\\ s_{u,1}^{(t)}>\cdots >s_{u,k}^{(t)}>\cdots >s_{u,|I_{u-1}|}^{(t)},u\in \left[n_{\text{user }}\right],k\in I_{u-}\end{array}\text{\hspace{1em}(11)}$$

标记过程如下，具体和单次迭代一样，不再赘述：

$$y_{u,i}^{(t)}=g_{\mu }(u,i)=\{\begin{array}{ll}1,& i\in I_{u+}^{\text{top }(t)}\cup I_{u+}^{\text{potential }(t)}\cup {\mathcal{I}}_{u-}^{\text{top }(t)};\\ 0,& \text{ otherwise }\end{array}\text{\hspace{1em}(12)}$$

最终将第 $t$ 次迭代收敛的数据集进行采样完成 $\left(u,i^{+},i^{-}\right)$ 的三元组数据集合。

$${\mathcal{T}}^{(t)}=\left\{(u,i,j)\mid y_{u,i}^{(t)}=1,y_{u,j}^{(t)}=0\right\}\text{\hspace{1em}(13)}$$

Downstream Module (Recommendation Model)

作者提供了两种方式：

1. 一种就是不用下游任务，直接拿现在得到的推荐分数作为最终的排序任务输出值，即 $s_{u,i}^d=s_{u,i}^{\left(t^{\ast }\right)}$
2. 使用一个多层感知机（MLP）完成预训练向量的非线性关系运算，并完成推荐，具体如下：
   $$s_{u,i}^d=d_{\varphi }(u,i)=h\left(h_c\left({\mathbf{v}}_u^d,{\mathbf{v}}_i^d\right)\right)\text{\hspace{1em}(14)}$$

其中， $d_{\varphi }\left(\cdot \right)$ 表示推荐模型， $h(\cdot )=h_{n_h}\left(\cdots h_1(\cdot )\cdots \right)$ 表示 $n_h$ 层的多层感知机模型, $h_c(\cdot ,\cdot )$ 表示 concatenation （$\Vert$）。

Optimization

Relabeling

$${\theta }^{(t)}=\arg \underset{\theta }{\min }-\sum _{(u,i,j)\in \mathcal{T}(t-1)}\log \sigma \left(s_{u,i}-s_{u,j}\right).\text{\hspace{1em}(15)}$$

Downstream Recommendation

$$\underset{\varphi }{\min }-\sum _{(u,i,j)\in {\mathcal{T}}^{\left(t_{\ast }-1\right)}}{\mathcal{L}}^d\left(\sigma \left(s_{u,i}^d-s_{u,j}^d\right)\right).\text{\hspace{1em}(16)}$$

其中， ${\mathcal{L}}^d\left(\cdot \right)$ 表示单调非递减损失函数。根据具体的下游模型而变化，文中选择了两个： 何向南老师的 NeuMF 模型和 经典 BPR 模型。

总结

文章创新地使用迭代 Relabeling 的方式完成标签自学习过程，提高了隐式反馈数据的信噪比，整个模型易于理解，成果比较突出。

在阅读过程中，有如下一些瑕疵（个人感觉），总结如下：

1. 单词循环到多层循环的符号表示稍微有些不连贯，造成了一定的阅读困难。
2. 参考文献的时效性不太好。
3. Architecture图画得非常清晰，但是和方法论中的叙述不太贴合。

同时，有一下一些疑问，希望阅读过此文的同学能够不吝赐教：

1. 数据集划分情况作者没有进行说明，如何判断Pretext Task是否收敛。
2. 在算法中，可以看到模型 $p_{\theta }$ 的更新过程中，使用了固定轮次 $p_{\theta }-\text{steps}$，是说每轮更新过程的iteration次数是固定的吗？