因果推断推荐系统工具箱 - Bias and Debias in Recommender System: A Survey and Future Directions（三）

文章名称

Bias and Debias in Recommender System: A Survey and Future Directions

核心要点

前两节中，我们讲述了推荐系统中出现的7种bias。本节我们来讲述一下现有的方法是如何解决selecton bias的。

方法细节

问题引入

Selection bias的问题在于我们拿到的用户评分，并不是用户对所有评分的随机采样。而是如前所述的具有喜好偏差的评分采样。同时，selection bias会同时影响训练和测试推荐系统模型。为了减少或解决这种偏差带来的问题，作者从两个方面入手，1）如何在有偏的评分数据下，正确的评价模型；2）如何在有偏的数据上，训练模型。

具体做法

通常情况下，我们采用MAE、MSE、DCG@k，Pre@k来衡量推荐模型的好坏。这些衡量指标的抽象公式如下图所示，即我们在所有用户下，对为其推荐的所有物品的预测评分，计算该预测评分与真实评分的差距，并求差距大宏观平均。

basic evaluation

其中， 的选取，决定了采用什么指标来评估推荐模型好坏。指标与 的对应关系如下，其中 表示用户-商品对的评分估计值。

差异函数

如前所述，通常情况下，我们只能观测到部分用户愿意打分的物品的评分结果，具体公式如下图所示。对比上边“宏平均”的公式来说，观察结果计算出来的 是在观测数据下的期望（由于不是目标分布的随机采样），是不能够充分表示用户偏好的。

ratings in observations

现行有两类方法来解决selection bias评估偏差的问题，1）IPS，利用inverse propensity score来调整样本权重，使得在观测数据上的期望值与实际的期望分布相符（IPW的应用，本质是分布平衡或者说分布匹配）；2）ATOP，

其中，IPS[1]方法是从因果推断的角度出发，把推荐的商品看做一种干预（treatment），把用户看作被干预对象（patient），借鉴因果推断propensity score weighting的思想，把user-item对的出现概率当做propensity score来调整样本权重，进而调整观测分布，尽可能合目标的分布对齐，具体的评估指标如下图所示。

inverse propensity score evaluation

经过了调整之后的评估指标，是目标估计指标的无偏估计量，如下图所示，虽然是在观测分布上求期望，但由于估计了user-item对可能被观测到的概率 导致在理想情况下， 和 是相等的，最终的期望是目标期望的无偏估计。

unbiased evaluation

ATOP[2]方法基于两个假设1）高相关性的物品的评分是随机缺失的；2）其他物品的评分可以有固定的确实机制（也就是可以有偏），但是只要他们的缺失概率高于高相关物品的确实概率就可以。[2]的作者证明ATOP是平均召回的无偏估计量，并且正比于用户均准确率（证明细节参见[2]）。

ATOP

值得注意的是，IPS仍然建立在propensity score的估计是准确无误的，如果存在模型假设的问题，那么这种评估指标仍然是有偏差的。

心得体会

ATOP assumption

ATOP假设其他类型物品的评分缺失概率比高相关性的物品的确实概率要高，其实相当于其他物品的确实程度更大，模型能够充分的学习高相关性的物品的有效反馈。这样，低相关物品的评分不会因为比高相关物品的评分多而引入噪声。并且作者证明是和召回评估指标相关的无偏估计量，因此更关注高相关性的物品。

文章引用

[1] T. Schnabel, A. Swaminathan, A. Singh, N. Chandak, and T. Joachims, “Recommendations as treatments: Debiasing learning and evaluation,” in ICML, ser. JMLR Workshop and Conference Proceedings, vol. 48, 2016, pp. 1670–1679.
[2] H. Steck, “Training and testing of recommender systems on data missing not at random,” in KDD, 2010, pp. 713–722.