推荐系统公平性论文阅读(一)

公平性(fariness)-新的突破点

推荐系统的公平性(fairness)正在成为推荐系统领域的一个新的突破点，目前对于推荐系统这种需要落地的应用，单纯的在模型领域取得准确率等指标的突破已经不是唯一的追求。虽然fancy的模型依然重要，但是越来越多的学者关注于模型在应用中的可解释性以及机器学习算法中性别偏见、种族歧视等不公平问题，而这也与社会学、人口学、经济学等不同学科产生了交叉。
我决定先选几篇前沿论文进行复现，然后再总结一下自己阅读该领域论文的初步心得和想法。

领域纵览

我首先通过Google Scholar查询了推荐系统公平性领域相关的综述论文，大致对该领域的发展现状和技术脉络有了初步的了解。
我其中最让我印象深刻的一篇论文综述是《A Survey on Bias and Fairness in Machine Learning》^[1]，这篇综述高屋建瓴地总结了在推荐系统乃至整个机器学习领域中可能存在的偏差和不公平现象。这篇论文将机器学习系统中的公平性问题划为数据偏差(bias in data), 算法公平性(algorithmic fairness)两部分。针对这两个问题学术界分别提出了不同的解决方案。
而对于相关的算法，作者将其划分为了3个类别，包括Pre-processing，In-processing，Post-processing。Pre-processing用于在正式推荐系统算法之前，对数据进行转换，从而移除潜在的差别和不公平。In-processing主要用于改进目前的最先(state-of-art)的学习算法，目的为在模型的训练阶段移除差别。Post-processing将学习模型做为黑盒，不能修改训练数据和学习算法，而在现有的推荐算法的预测结果上进行调整。
然后，我又阅读了人大AIBox实验室赵鑫老师写的一些关于推荐系统公平性的综述，对这个领域有了更加宏观的认识。同时我通过了SIGIR、WSDM、KDD等相关顶会论文，对目前该领域的研究的前沿算法好最新认识有了更深的理解。我对我所读过的论文中提出的保证推荐系统公平性的解决方案按照３个类别进行分类。Pre-processing 目前在该领域已经提出了方法包括但不限于：使用对抗学习(adversarial learning)方式训练滤波器(filter)，然后对用户及物品嵌入向量(embeddings)中的敏感信息进行过滤^[2]；添加校正数据(antidote)以改变原始优化目标函数^[3]；用对抗学习移除嵌入向量中的偏差部分，并通过正交性正则化(orthogonality)使有偏差用户向量尽量正交于无偏差用户向量，从而更好地区分二者^[4]。In-processing　目前在该领域已经提出的方法包括但不限于：在训练时,将不同组之间点击情况的差异做为目标函数的正则项^[5]；引入受限马尔科夫决策过程(CMDP)解决长期公平性问题^[6]；从系统的多组分中选择最优的组分进行公平性改善^[7]。Post-processing
目前在该领域已经提出的方法包括但不限于： 使用基于0-1整数规划的再排序(re-ranking)方法，以保证组间均衡^[8]；使用贪心算法(greedy algorithm)解决多组的全局平衡问题^[9]；将启发式再排序策略用于基于知识图谱(knowledge graph)的可解释性推荐系统^[10]，通过再排序策略解决偏差分化(bias disparity)问题^[11]；采用因果推断的角度，利用逆倾向分数(Inverse Propensity Score, IPS)对观察数据进行加权，构建一个对理想评测指标的无偏估计器(倾向分数可以看作是每个数据被观察到的概率)^[12]。

我的分析

在对该领域的顶会论文进行纵览后，我对目前的推荐系统公平性模型和算法的主要思想进行了归纳。
首先，对于Pre-processing类算法而言，重点是改变用户和物品的表示(representation)，使之符合公平性推荐算法的要求。而目前除了共现矩阵之外，越来越强调基于知识图谱学习用户和物品的表示，以学习到实体之间的关系并提高推荐系统可解释性。如何针对这种基于图结构的表示进行去除偏差是领域内的研究热点。
对于In-processing类算法，重点在于改进推荐算法的目标函数，同时考虑到推荐平衡性、多方利益、推荐算法的动态调整性等，重点在于使算法考虑的因素更为全面，而这往往需要从整个推荐系统层面进行分析和考量。
对于Post-processing类算法，因为处于通用性考量，多将原始推荐算法做为黑盒模型处理，专注于调整推荐后的结果。而这最终多将原始问题转化为一个最优化问题进行处理。因为而这种优化问题多为整数规划问题，是NP-complete的，多采用启发式算法进行求解。
接下来的时间我将着重对^[2]，^[6]，^[8]这三篇论文进行复现。我认为通过复现论文可以更好地把握算法细节，对论文的思想也会有更加深刻的理解。

参考文献

• [1] Mehrabi N, Morstatter F, Saxena N, et al. A survey on bias and fairness in machine learning[J]. ACM Computing Surveys (CSUR), 2021, 54(6): 1-35.
• [2] Wu L, Chen L, Shao P, et al. Learning Fair Representations for Recommendation: A Graph-based Perspective[C]//Proceedings of the Web Conference 2021. 2021: 2198-2208.
• [3] Rastegarpanah B, Gummadi K P, Crovella M. Fighting fire with fire: Using antidote data to improve polarization and fairness of recommender systems[C]//Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining. 2019: 231-239.
• [4] Wu C, Wu F, Wang X, et al. Fairness-aware News Recommendation with Decomposed Adversarial Learning[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(5): 4462-4469.
• [5] Beutel A, Chen J, Doshi T, et al. Fairness in recommendation ranking through pairwise comparisons[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery
  & Data Mining. 2019: 2212-2220.
• [6] Ge Y, Liu S, Gao R, et al. Towards Long-term Fairness in Recommendation[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 445-453.
• [7] Wang X, Thain N, Sinha A, et al. Practical Compositional Fairness: Understanding Fairness in Multi-Component Recommender Systems[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 436-444.
• [8] Li Y, Chen H, Fu Z, et al. User-oriented Fairness in Recommendation[C]//Proceedings of the Web Conference 2021. 2021: 624-632.
• [9] Kaya M, Bridge D, Tintarev N. Ensuring fairness in group recommendations by rank-sensitive balancing of relevance[C]//Fourteenth ACM Conference on Recommender Systems. 2020: 101-110.
• [10] Fu Z, Xian Y, Gao R, et al. Fairness-aware explainable recommendation over knowledge graphs[C]//Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2020: 69-78.
• [11] Tsintzou V, Pitoura E, Tsaparas P. Bias disparity in recommendation systems[J]. arXiv preprint arXiv:1811.01461, 2018.
• [12] Schnabel T, Swaminathan A, Singh A, et al. Recommendations as treatments: Debiasing learning and evaluation[C]//international conference on machine learning. PMLR, 2016: 1670-1679.