文章名称
Bias and Debias in Recommender System: A Survey and Future Directions
核心要点
上一节中，我们讲述一下现有的方法是如何解决selecton bias的评估的，下面我们介绍一下如何在具有selection bias的数据上进行模型的训练。
方法细节
问题引入
Selection bias的问题在于用户可以自主的选择给哪些物品打分，并放弃掉其他物品的评分，造成数据确实并不是随机的。
具体做法
插值方法
解决数据缺失问题，比较简单直接的方法是进行插值。很多现有的方法，利用启发式的方式，同时建模物品的评分估计和物品打分是否会缺失。背后的原理是，用户是否给某个物品打分和用户对该物品的评分是强相关的。因此，通过同时推断用户是否会给物品打分以及实际的评分结果，实际上是在更好的建模观察（训练）数据的产生过程（DGP）。比如[1]把评分缺失的概率建模为混合多项式分布，[2]把缺失概率建模成逻辑回归模型，[3]，[2]建模为矩阵分解，[4]考虑的更深远，认为数据缺失受到了用户社交网络的影响。
但是由于直接建模整个机制会比较复杂，[5], [6]在缺失数据上直接插入一个特殊的值，并优化如下图所示的loss function，其中表示观测到的评分或者（给出的）插值，而表示样本权重，来控制插值数据对模型的影响。但是这种降权做到极端，就是让数据回归到缺失的情况，是需要很多经验调节的，感觉是在平衡噪声和偏差。同时，插值本身也需要很好的业务理解，不然错误或不准确的插值，会造成额外的误差，导致模型效果变差。
propensity score
因此，[7]提出了直接优化propensity score的评估准则，其中是user-item对被观测到评分的概率（本质上是也是一种建模是评分否会缺失的方法，只不过不是启发式的，而是利用propensity score的模型）。
Doubly Robust
但是如前所述，propensity score方法非常依赖propensity score模型的假设正确程度以及预估准确度。实际上，有了propensity score很自然的会想到用DR的方法。[8] 提出利用imputation error和propensity score error构造损失，来达到DR的效果。其中是估计评分和评分插值之间的差距，而是观测到user-item对的概率，衡量的是预估误差和差值误差的偏离程度，具体证明细节参见[8]。
Meta Learning
虽然DR方法能够缓解propensity score方法的问题，但是仍然存在由于propensity或者imputation模型不准确而导致的预估不准确的问题。因此，[3]提出了一种基于元学习的方法（这个元学习和causal inference里的meta learner以及迁移学习中的meta learning都不一样），这里的元学习更像meta-learner。首先通过两个基础模型A1, A2从有selection bias的数据中学习如何构造pseudo ratings（感觉思路上类似imputation，只是利用了不同的数据构造方法，并且有理论保证）。在pseudo ratings的基础上，训练模型A0来模拟无偏数据上训练的模型，理论证明模型优化的是无偏模型的一个上届，细节参见[3]。然而，这种方法非常依赖A2模型的准确度，A2的偏差会被引入到最终训练的模型中。尽管如此，文章的作者仍然认为这种具有理论保证单meta learning的方法是值得继续探索。
心得体会
imputation method
如前所述，数据差值的建模方式往往是同时建模评分预估和评分缺失的机制，以此建模整个数据产生的过程，即DGP。类似的想到了推荐模型当中同时建模CTR和CVR的模型，同时为两个目标，联合训练两个模型，促进了两个指标的估计，充分的利用了数据，其实也有一些偏差消除的感觉在里面。
propensity score and heuristic missing modeling
其实propensity score的方法和imputation中建模评分缺失机制的方法是类似的。至少估计的都是评分缺失的某种概率。区别仅仅在于如何利用这个概率，如果是构建IPS这种损失函数。那么就是propensity score方法。
文章引用
[1] B. M. Marlin, R. S. Zemel, S. Roweis, and M. Slaney, “Collaborative filtering and the missing at random assumption,” in UAI, 2007, pp. 267–275.
[2] B. M. Marlin and R. S. Zemel, “Collaborative prediction and ranking with non-random missing data,” in RecSys, 2009, pp. 5–12.
[3] J. M. Hernandez-Lobato, N. Houlsby, and Z. Ghahramani, “Probabilistic matrix factorization with non-random missing data.” in ICML, 2014, pp. 1512–1520.
[4] J. Chen, C. Wang, M. Ester, Q. Shi, Y. Feng, and C. Chen, “Social recommendation with missing not at random data,” in ICDM. IEEE, 2018, pp. 29–38.
[5] H. Steck, “Evaluation of recommendations: rating-prediction and ranking,” in RecSys, 2013, pp. 213–220.
[6] H. Steck, “Training and testing of recommender systems on data missing not at random,” in KDD, 2010, pp. 713–722.
[7] T. Schnabel, A. Swaminathan, A. Singh, N. Chandak, and T. Joachims, “Recommendations as treatments: Debiasing learning and evaluation,” in ICML, ser. JMLR Workshop and Conference Proceedings, vol. 48, 2016, pp. 1670–1679.
[8] X. Wang, R. Zhang, Y. Sun, and J. Qi, “Doubly robust joint learning for recommendation on data missing not at random,” in ICML, 2019, pp. 6638–6647.