文章名称
Bias and Debias in Recommender System: A Survey and Future Directions
核心要点
上一节中，介绍了如何消除Position Bias，这一节我们来介绍如何消除Popularity Bias。
方法细节
问题引入
Popularity Bias是指流行度越高的物品越容易被推荐系统认为是和用户相关的。这种偏差影响整个推荐系统。
具体做法
作者将解决Popularity Bias的方法分为4类，包括Regularization，Adversarial learning， Causal graph以及其他方法。
Regularization
Regularization的基本思路是把公平性的判别准则作为正则项引入到模型优化的损失函数中，来指导模型优化。一个通用的框架是[1]中提出的LFR，该框架通过将非敏感信息编码到向量表示内，并同时消除向量表示中的敏感信息，以此来保护敏感信息和用户。该损失函数可以被定义为3部分，如下图所示。其中，是原始特征与向量表示之间的重构损失，是学习得到的编码器。 通过向量表示对推荐结果的预测损失，可以是交叉熵等损失函数。
是正则项，用来衡量向量表示 与敏感特征 的独立性，也就是我们上边提到的公平性约束，具体形式如下图所示。其中， 通过所有用户的向量表示 与具有敏感特征（或特征取值为具体值）的用户的向量表示的均值 的距离来表示。利用这个正则向，可以保证编码器学习到的向量表示与敏感特征无关。
Adversarial learning
与LFR的思路类似，基于对抗学习的方法，通过得到一个具有公平性的向量表示，来实现公平推荐的目的。大致思路是构建一个攻击模型，从向量表示中预测公平性敏感的特征，而预测模型的目标是在降低攻击模型对敏感特征的预测准确度的同时进行物品推荐。这样可以促使公平性敏感的特征的相关信息被从数据的向量表示中去除。[2]提出了AFLR，其学习过程的可以表示为如下图所示的minmax game。其中是重构损失，用来衡量向量表示对原始特征的信息保持能力，通常采用AE来实现。是预测网络，从向量表示中预测（也就是反馈）。包含AE和预测器的所有参数，是用来判别向量表示与敏感特征的独立性的对抗网络。如果是二值的特征，那么可以是交叉熵损失。通过最大化，来优化，提升对抗模型对敏感特征的识别能力。通过最大化，来优化，提升消除敏感特征对预测能力的影响，减少向量表示中引入的敏感特征的信息。
[3]扩展了ALFR，在图嵌入方法中为多个公平性敏感的特征，强制加入组合公平性约束。相比于通常学习到的公平性表示对单一特征不敏感，加入组合约束后，学习到的向量表示，可以保证对不同的敏感特征组合具有不变形（也就是说对可能的特征组合不敏感）。这一特性通过在对抗学习中引入组合编码器实现。[4]在ALFR的基础上提出了特征保护的概念，在利用用户偏好向用户推荐物品的同时，保护用户的隐私属性不被侵害。在对抗学习中，把生成网络看做是特征“攻击者”，不断地期望利用数据寻找用户的隐私属性，来影响推荐。而把BPR视为判别器来进行具有公平性的推荐，判断哪些是特征攻击。
Causal Modeling
因果模型的成功应用，促使很多从因果角度出发的公平性偏差消除的方法，[5], [6], [7], [8]，[9]。从因果推断的角度，公平性被抽象为“敏感特征”的因果效应（感觉有点类似于特征重要性），通常通过翻转干预（或者进行反事实的干预）来评估。[7]主要关注排序的公平性，并且认为单独靠数据统计很难辨别出公平性的偏差。因此， [7]构建了一个因果图，并结合离散的用户属性和连续的评分，依据一种路径效应的评估技术，来检测并消除直接或间接的偏差，详见[7]。[8] 引入了“因果公平性”的体系，并推到了Pearl的因果模型（类似SCM）。通过考察真实特征和反事实特征的因果效应的区别，来判断和消除公平性偏差。
心得体会
causal embedding
公平性中的因果模型，其实是通过减少敏感特征带来的因果效应，来减少对敏感特征的依赖。
adversial learning
对抗学习其实是也是通过消除敏感特征对最终推荐结果的影响来提升公平性。这种方法类似于Disentangle的思路，从向量表示中消除敏感特征的相关信息。
文章引用
[1] R. S. Zemel, Y. Wu, K. Swersky, T. Pitassi, and C. Dwork,“Learning fair representations,” in ICML, vol. 28, 2013, pp. 325–333.
[2] H. Edwards and A. J. Storkey, “Censoring representations withan adversary,” in ICLR, 2016.
[3] A. J. Bose and W. L. Hamilton, “Compositional fairnessconstraints for graph embeddings,” in ICML, vol. 97, 2019, pp.715–724.
[4] G. Beigi, A. Mosallanezhad, R. Guo, H. Alvari, A. Nou, andH. Liu, “Privacy-aware recommendation with private-attributeprotection using adversarial learning,” in WSDM, 2020, pp. 34–42.
[5] J. Zhang and E. Bareinboim, “Fairness in decision-making - thecausal explanation formula,” in AAAI, 2018, pp. 2037–2045.
[6] R. Nabi and I. Shpitser, “Fair inference on outcomes,” in AAAI,2018, pp. 1931–1940.
[7] Y. Wu, L. Zhang, and X. Wu, “On discrimination discovery andremoval in ranked data using causal graph,” in KDD. ACM,2018, pp. 2536–2544.
[8] M. J. Kusner, J. R. Loftus, C. Russell, and R. Silva, “Counterfactualfairness,” in NeurIPS, 2017, pp. 4066–4076.
[9] Y. Wu, L. Zhang, and X. Wu, “Counterfactual fairness:Unidentification, bound and algorithm.” in IJCAI, 2019, pp. 1438–1444.