文章名称
Bias and Debias in Recommender System: A Survey and Future Directions
核心要点
上一节中，介绍了如何消除Position Bias，这一节我们来介绍如何消除Popularity Bias。
方法细节
问题引入
Popularity Bias是指流行度越高的物品越容易被推荐系统认为是和用户相关的。这种偏差影响整个推荐系统。
具体做法
作者将解决Popularity Bias的方法分为4类，包括Regularization，Adversarial learning， Causal graph以及其他方法。
Regularization
[1], [2]引入了正则化方法，其中正则项为矩阵的迹，是物品的embedding矩阵，是拉普拉斯对角阵，表示物品是否同属于一个类别，这里的类别有两种，流行物品或者是长尾物品。[3]引用mean-match regularizer，首先利用互信息，来计算物品的特征对推荐系统结果的影响。随后利用近似，推导出正则项如下图所示。
其中 如下图所示，表示的是长尾和流行度两类物品的相关度估计值不应该偏差太大，从而纠正推荐系统在流行物品上的倾向性。
相比于上述直接约束模型产出的数据结果，[4]提出了一种面向过程的正则项。该文章的作者认为，长尾物品之所以推荐的不好，是因为这类物品没有充足的样本来进行训练，导致他们的embedding都比较接近随机初始值，导致最终对该物品的推荐结果偏向保守（或者说不怎么推荐）。于是，作者提出利用领域迁移的方法来传递在流行度较高的物品上学到的知识从而帮助学习长尾物品的策略。三个正则项被引入，1）领域分布匹配，利用物品的embedding表示的内积差异，表示两种物品情况下协方差的差异，进行领域迁移（这里论文应该是有个typo）。
其中 如下图所示，这里的 代表source，是领域迁移的源域， 代表target，是领域迁移的目标域。在纠正Popularity Bias的任务中， 代表流行度较高的物品， 代表长尾物品，期望迁移流行度物品的知识到长尾物品中。
2） 中心感知正则项 ，来鼓励具有相同行文的物品内聚，不同行为的物品之间距离更远；3）一个自训练的聚类正则项， ，通过最小化熵 来得迫使不同类之间的密度较低。细节参见[4]。
Adversarial learning
另一类是基于对抗学习的方法。[5]采用通常的博弈方法，来提高推荐系统推荐潜在物品的能力。判别其在真实观测到的流行物品和长尾物品对以及生成器生成的流行物品和长尾物品对中辨别真伪。通过不断地训练生成器和判别器，最终生成器能够更好地为用户生成包含更多长尾物品的推荐内容。
Causal graph
因果图是进行反事实推理的有利工具，因此[9]利用因果图来推理如果是长尾物品，用户会不会喜欢这一反事实，来解决Popularity Bias的问题。作者假设用户的点击行为即取决于偏好，也取决于流行度，并建立因果图如下图所示。
为了分离出用户的实际兴趣，作者提出了两种embedding，兴趣embedding以及流行度embedding。两种embedding分别用来学习兴趣带来的点击以及流行物品带来的点击。利用多任务学习，在不同数据上分别学习两种embedding。最终，只利用兴趣embedding来生成推荐结果。
Others methods
同时，也包括一些利用其他信息的方法。[6]，[7]利用重排阶段进行Popularity Bias的消除。[8]利用propensity score来调整流行物品的权重，从而减小Popularity带来的偏差。
心得体会
causal graph/embedding
这里提到的causal graph的方法的因果图是简单的不能再简单了。其中所谓的不同的embedding和loss，可以理解为在不同数据上进行训练。如在流行物品上学习兴趣和流行度共同作用的结果，而在长尾物品上学习兴趣的影响。
文章引用
[1] H. Abdollahpouri, R. Burke, and B. Mobasher, “Controlling popularity bias in learning-to-rank recommendation,” in RecSys, 2017, pp. 42–46.
[2] J. Wasilewski and N. Hurley, “Incorporating diversity in a learning to rank recommender system,” in FLAIRS, 2016, pp. 572– 578.
[3] T. Kamishima, S. Akaho, H. Asoh, and J. Sakuma, “Correcting popularity bias by enhancing recommendation neutrality,” in RecSys, 2014.
[4] Z. Chen, R. Xiao, C. Li, G. Ye, H. Sun, and H. Deng, “ESAM: discriminative domain adaptation with non-displayed items to improve long-tail performance,” in SIGIR, 2020, pp. 579–588.
[5] A. Krishnan, A. Sharma, A. Sankar, and H. Sundaram, “An adversarial approach to improve long-tail performance in neural collaborative filtering,” in CIKM, 2018, pp. 1491–1494.
[6] M. Bressan, S. Leucci, A. Panconesi, P. Raghavan, and E. Terolli, “The limits of popularity-based recommendations, and the role of social ties,” in KDD, 2016, pp. 745–754.
[7] H. Abdollahpouri, “Popularity bias in ranking and recommendation,” in AIES, 2019, pp. 529–530
[8] L. Yang, Y. Cui, Y. Xuan, C. Wang, S. Belongie, and D. Estrin, “Unbiased offline recommender evaluation for missing-not-atrandom implicit feedback,” in RecSys, 2018, pp. 279–287.
[9] Y. Zheng, C. Gao, X. Li, X. He, Y. Li, and D. Jin, “Disentangling user interest and popularity bias for recommendation with causal embedding,” CoRR, vol. abs/2006.11011, 2020.