文章名称
Bias and Debias in Recommender System: A Survey and Future Directions
核心要点
上一节中，介绍了消除Unfairness的三类方法，其中Regularization相关的方法只阐述了相应的框架，今天我们介绍一些具体方法，并介绍另一种方法Rebalancing。
方法细节
问题引入
消除Unfairness的方法本质上可以理解为消除推荐结果对敏感特征的依赖性，例如对性别的依赖。消除方法通常是通过某种正则化的方法，来减少表示学习中引入到敏感特征的信息。对抗学习可以被看做regularization的一种特殊方法。当然还有其他的解决思路。
具体做法
Regularization
基于上一篇讲述的正则化的基本框架，更多的研究扩展如何进行正则化的思路。[1]提出了敏感特征中立性的概念，并提出了两种方法。[2]提出了一种基于正则化的矩阵补全的方法，其公平性的正则项是敏感特征与推荐结果之间的互信息的负数。另一种方法是基于图模型的[3], 其正则项是衡量，在图模型中，敏感特征与推荐结果的独立性的度。[4]把上述方法推广到了隐式反馈场景，[5], [6]提出了4中基于协同过滤的正则化方法来消除不同种类的非公平性。
一些消除公平性的方法专注于特殊的场景，[106]不但提供了方法来在排序阶段控制流行度带来的偏差，并且利用公平性的方法，解决流行物品和长尾物品在推荐系统没有被公平对待的问题（其实就是长尾物品被忽视了，或者降权了）。[7]提出了进行群组推荐时，消除组内不公平性问题的方法。该方法利用对目标优化的方式来消除偏差。[8] 提出了一种基于正则化的矩阵补全方法，来消除协同过滤推荐系统下，受保护和未受保护的近邻偏差的问题，详情参见[8]。[16]利用张量相关方法，构建敏感要素的因向量矩阵（其实有点类似LFR的思路，构建隐表示）并通过正则项分离出敏感的信息，减少对其他要素的影响。上述介绍的方法，都是针对某一个物品推荐（point-wise）的时候进行的公平性消偏。[15]利用一种新的正则项来消除同一个用户点击与未点击物品之间存在的公平性偏差。
另外，正则项也被融入一些用于调整排序策略的优化目标里，来消除非公平性偏差。例如 [14]在动态排序场景中，依据用户的实时反馈，构建了一种新的排序准则，FairCo。准则如下图所示。式子中的这一项把因为不公平导致的欠曝光的物品在排名上进行了提升，具体参见 [14]。
Rebalancing
受到解决类别不平衡问题的方法的启发，一些方法利用数据平衡，或者推荐结果平衡的策略来解决公平性问题。比如说，具有敏感特征，和不具有敏感特征（例如，是男还是女）的用户，被推荐某一物品的整体概率应该是相差不大的。[9]采用重标记的方法，为因敏感特征造成差别的样本重新打标签，来平衡两种不同特征取值下的样本分布。[10]则采用重采样的方式来确保样本平衡。平衡样本的思路在排序公平性场景很流行，有许多公平性的约束。[11], [12]利用多个排序目标来对物品进行排序，并最终从多个结果中或者相对公平的推荐结果。[13]采用后处理的方法，从TOP-K的结果中获取K个候选的子集，来确保满足比例的公平性。[10]把公平性卡做是在敏感特征上的一种分布调节过程，通过重新排序候选结果来满足公平性约束。
心得体会
Multitask Learning
公平性模型中，有的方法充分利用了多目标优化的能力。其实很多CV和NLP的文章中也有提到，多目标优化可以被理解为是一种正则化的手段。
Rebalancing
样本类别不平衡，其实可能是由于某种confounder导致的偏差，比如说样本选择偏差等等。因此这种不平衡可以被看做是一种因果推断问题，rebalancing也是一种解决因果推断问题的方法，比如不同treatment下的样本匹配。
文章引用
[1] T. Kamishima, S. Akaho, H. Asoh, and J. Sakuma, “Enhancementof the neutrality in recommendation,” in RecSys, vol. 893, 2012,pp. 8–14.
[2] ——, “Efficiency improvement of neutrality-enhancedrecommendation.” in Decisions@ RecSys, 2013, pp. 1–8.
[3] T. Kamishima, S. Akaho, H. Asoh, and I. Sato, “Model-basedapproaches for independence-enhanced recommendation,” inICDM, 2016, pp. 860–867.
[4] T. Kamishima and S. Akaho, “Considerations onrecommendation independence for a find-good-items task,”in FATREC Workshop on Responsible Recommendation Proceedings,2017.
[5] S. Yao and B. Huang, “Beyond parity: Fairness objectives forcollaborative filtering,” in NeurIPS, 2017, pp. 2921–2930.
[6] ——, “New fairness metrics for recommendation that embracedifferences,” CoRR, vol. abs/1706.09838, 2017.
[7] X. Lin, M. Zhang, Y. Zhang, Z. Gu, Y. Liu, and S. Ma, “Fairnessaware group recommendation with pareto-efficiency,” in RecSys,2017, pp. 107–115.
[8] R. Burke, N. Sonboli, M. Mansoury, and A. Ordonez-Gauger, ˜“Balanced neighborhoods for fairness-aware collaborativerecommendation,” in FATREC Workshop on ResponsibleRecommendation Proceedings, 2017, p. 5.
[9] D. Pedreschi, S. Ruggieri, and F. Turini, “Discrimination-awaredata mining,” in KDD, 2008, pp. 560–568.
[10] S. C. Geyik, S. Ambler, and K. Kenthapadi, “Fairness-awareranking in search & recommendation systems with applicationto linkedin talent search,” in KDD, 2019, pp. 2221–2231.
[11] A. Asudeh, H. V. Jagadish, J. Stoyanovich, and G. Das,“Designing fair ranking schemes,” in SIGMOD, 2019, pp. 1259–1276.
[12] A. J. Biega, K. P. Gummadi, and G. Weikum, “Equity of attention:Amortizing individual fairness in rankings,” in SIGIR, 2018, pp.405–414.
[13] M. Zehlike, F. Bonchi, C. Castillo, S. Hajian, M. Megahed, andR. Baeza-Yates, “Fa*ir: A fair top-k ranking algorithm,” in CIKM,2017, pp. 1569–1578.
[14] M. Morik, A. Singh, J. Hong, and T. Joachims, “Controlling fairness and bias in dynamic learning-to-rank,” in SIGIR. ACM, 2020, pp. 429–438.
[15] A. Beutel, J. Chen, T. Doshi, H. Qian, L. Wei, Y. Wu, L. Heldt, Z. Zhao, L. Hong, E. H. Chi, and C. Goodrow, “Fairness in recommendation ranking through pairwise comparisons,” in KDD, 2019, pp. 2212–2220.
[16] Z. Zhu, X. Hu, and J. Caverlee, “Fairness-aware tensor-based recommendation,” in CIKM, 2018, pp. 1153–1162.