《因果学习周刊》第6期：因果推荐系统

No.06

智源社区

因果学习组

因

果

学

 习

研究

观点

资源

活动

关于周刊

因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第6期《因果学习周刊》。

现如今，推荐系统在工业界得到了广泛的应用并带来了丰厚的利润，有关推荐系统的研究也具有十分深远的意义与巨大的实用价值，而如何产生更加符合用户真实兴趣的推荐也成为了重要的问题。为了解决现有推荐系统中广泛存在的以流行度偏差(Popularity Bias)为代表的数据偏差问题，许多研究者将因果推断中的方法引入到推荐系统的设计中，来抵消掉包括流行度偏差在内的各种数据偏差。本期周刊总结了近期因果推断+推荐系统的系列文章，主要包含了利用因果推断技术来对推荐系统中现存数据偏差进行消除的一些方法。

周刊采用社区协作的模式产生，欢迎感兴趣的朋友们参与我们的工作，一起来推动因果学习社群的分享、学习和交流活动。可以扫描文末的二维码加入因果学习社区群。

本期贡献者：刘家硕

论文推荐

标题：ICML2016 & Cornell | Recommendations as treatments: Debiasing learning and evaluation了解详情

简介：大多数用于评估和训练推荐系统的数据都受到选择性偏差的影响，要么是由于用户的自我选择，要么是由于推荐系统本身的行为。在本文中，我们借鉴了因果推断中的技术来调整模型与估计算法，提出了一个原则性的方法来解决选择性偏差问题。提出的方法可以在数据有偏的情况下实现无偏的性能估计，并提供了一个矩阵分解方法，在真实数据上实现了对于预测性能的实质性的改进。我们从理论上和经验上阐释了该方法的鲁棒性，并发现它具有很强的实用性和可扩展性。

论文地址：https://arxiv.org/pdf/1602.05352.pdf

推荐理由：本文是早期将因果引入到推荐系统中的文章之一，具有很强的启发意义，后续有很多文章在此基础上研究因果推断+推荐系统相关的技术，对因果推荐系统感兴趣的朋友可以关注这篇文章。

标题：RecSys 2018 & Criteo AI Labs｜Causal Embeddings for Recommendation了解详情

简介：目前许多应用程序使用推荐是为了调整用户的自然行为，比如增加销售额或在网站上花费的时间。这就导致了最终推荐目标和传统的推荐方案之间的差距，传统的方案是通过预测用户-物品矩阵中缺失的条目或最有可能发生的下一个事件来评估推荐候选项与过去用户行为的一致性。为了弥补这一差距，我们优化了一个推荐策略，目的是增加预期的结果，而不是有机的用户行为。我们证明，这相当于在完全随机的推荐策略下学习预测推荐结果。为此，我们提出了一种新的领域自适应算法，该算法从包含有偏差推荐策略结果的记录数据中学习，并根据随机暴露来预测推荐结果。除了新的因果推荐方法外，我们将我们的方法与当前最有的因子分解方法进行了比较，并展示出显著的提升。

论文地址：https://arxiv.org/pdf/1706.07639.pdf

推荐理由：本文同样引入因果推断的方法来解决推荐系统问题中的数据选择性偏差问题，具有较大的启发意义。

标题：KDD21 & 中科大/NUS｜Model-Agnostic Counterfactual Reasoning for Eliminating Popularity Bias in Recommender System了解详情

简介：推荐系统的一般目的是为用户提供个性化的建议，而不是推荐热门的商品。然而，常规的训练范式，即拟合一个推荐修正模型来恢复丢失的用户行为数据，会使得模型偏向热门商品。这就导致了马太效应，使得热门商品更频繁地被推荐，甚至变得更受欢迎。现有的工作使用逆向倾向加权(IPW)来解决这个问题，它降低了热门商品对模型训练的影响，从而增加了位于长尾中的商品的影响。尽管理论上合理，但IPW方法对加权策略高度敏感，而这是出了名的难以调整。在这篇文章中，我们从因果这一根本性的角度探讨了推荐系统中的热度偏差问题(Popularity Bias)。我们发现热度偏差存在于商品对排名分数的直接影响中，即商品的内在属性是错误地赋予其较高排名分数的原因。为了消除热度偏差，我们有必要回答一个反事实的问题，即如果模型只使用商品属性，那么排名得分会是多少。为此，我们构建了一个因果图来描述推荐过程中重要的因果关系。在训练过程中，我们进行多任务学习；在测试期间，我们执行反事实推理以消除商品流行度的影响。值得注意的是，我们的解决方案修正了推荐的学习过程，这是一个广泛的模型，它可以很容易地在现有的方法中实现。我们在矩阵分解(MF)和LightGCN上进行了演示，这两个模型是协同过滤的传统模型和SOTA模型的代表。我们也在五个真实数据集上验证了方法的有效性。

论文地址：https://arxiv.org/pdf/2010.15363.pdf

推荐理由：本文从因果推断的角度描述了推荐系统中一些变量间的因果关系，并从反事实推理出发来解决Popularity Bias对于模型的影响。

标题：KDD21 & 达摩院｜Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems了解详情

简介：深度候选生成(DCG)通过表示学习将相关项目的收集范围从数十亿项缩小到数百项，在工业推荐系统中已经得到了非常普遍的应用。标准方法通过抽样近似最大似然估计(MLE)，以更好的可扩展性，并以类似于语言建模的方式解决DCG问题。然而，实时推荐系统面临严重的暴露偏差，其词汇量比自然语言的词汇量大几个数量级，这意味着为了更好的拟合观测数据，MLE将保持甚至加剧暴露偏差。在本文中，我们从理论上证明了一种流行的选择对比损失等效于通过逆倾向加权来减少暴露偏差，这为理解对比学习的有效性提供了一个新的视角。基于这一理论发现，我们设计了一种对比学习方法——CLRec，用于在候选集规模非常大的推荐系统中提高DCG的公平性、有效性和效率。我们在CLRec的基础上进行了进一步的改进，提出了Multi-CLRec来精确地减少多意图感知偏差。我们的方法已经在淘宝上成功应用，至少四个月的在线A/B测试和线下分析表明，它有了实质性的改进，包括马太效应的显著降低。

论文地址：https://arxiv.org/pdf/2005.12964.pdf

推荐理由：本文使用对比学习的方法来解决推荐系统中的popularity bias，并且在工业系统中得到了应用，具有较高的理论与应用价值。

标题：KDD21 & NUS｜Deconfounded Recommendation for Alleviating Bias Amplification了解详情

简介：推荐系统通常会放大数据中的偏差。从不平衡商品分布的历史交易中学习到的模型，会过度推荐热门商品，从而进一步扩大了商品分布的不平衡。从长远来看，解决这个问题对于建立一个健康的推荐生态系统至关重要。现有研究将偏差控制应用于排序目标(如校准、公平性和多样性)，但忽略了偏差放大的真正原因，并牺牲了推荐精度。在本研究中，我们仔细研究了偏差放大的因果因素，发现主要原因是不平衡的商品分布对用户表征和预测得分的混淆效应。这种混淆因素的存在促使我们需要超越仅仅对条件概率建模，而采用因果模型来进行推荐。为此，我们提出了一个去混淆效应推荐系统(DecRS)，它模拟了用户表示对预测分数的因果效应。消除混淆因素影响的关键在于后门调整，但由于混杂因素的样本空间是无限的，这很难做到。对于这个挑战，我们提出了后门调整的近似算子，可以很容易地用于大多数推荐模型中。最后，我们设计了一个推理策略，根据用户状态动态调节后门调整算子。我们在FM和NFM两个代表性模型上实例化了DecRS，并在两个基准数据集上进行了大量的实验，以验证我们提出的DecRS的有效性。

论文地址：https://arxiv.org/pdf/2105.10648.pdf

推荐理由：本文使用因果推断的手段来消除推荐系统中的混淆效应，从而缓解popularity bias，算法具有很强的新颖性，值得借鉴。

标题：WWW21 & 清华｜Disentangling user interest and conformity for recommendation with causal embedding了解详情

简介：推荐模型通常根据观察到的交易数据进行训练。然而，观测数据可能来自于用户对热门商品的趋同，这就掩盖了用户的真实兴趣。现有的方法跟踪这个问题，以消除流行偏差，例如，通过重新加权训练样本或利用一小部分无偏数据。然而，这些方法忽略了用户的多样性，并且将交互的不同原因捆绑在一起作为统一的表示，因此当底层原因发生变化时，鲁棒性和可解释性得不到保证。在本文中，我们提出了DICE，一个学习表示的通用框架，其中用户兴趣和一致性在结构上分离，各种骨干推荐模型可以平滑地集成。基于兴趣和一致性，我们为用户和商品分配了单独的嵌入，并使用根据因果推理的碰撞效应获得的特定原因数据进行训练，使每个嵌入只捕获一个原因。我们提出的方法优于最先进的基线模型，并在两个真实数据集上对各种骨干模型进行了显著改进。我们进一步证明，学习的嵌入成功地捕获了期望的原因，并表明DICE保证了推荐的鲁棒性和可解释性。

论文地址：https://arxiv.org/pdf/2006.11011.pdf

推荐理由：本文使用了causal embedding来对用户兴趣和热门商品进行解藕，并利用因果推断中的碰撞效应起到了去偏差的效果。

标题：CIKM21 & Rutgers｜Counterfactual Explainable Recommendation了解详情

简介：可解释推荐为用户和系统设计者提供解释，以促进更好的理解和决策，已成为一个重要的研究问题。在本文中，我们提出了反事实可解释推荐(CountER)，它将反事实推理从因果推理中引入到可解释推荐中。CountER能够表述解释的复杂性和强度，采用反事实学习框架为模型决策寻求简单(低复杂性)和有效(高强度)的解释。从技术上讲，对于向每个用户推荐的每一项商品，CountER提出一个联合优化问题，以在商品方面产生最小的变化，从而创建一个反事实商品，这样反事实商品的推荐决策就会被逆转。这些改变的方面解释了为什么要推荐原来的项目。反事实解释有助于用户更好地理解，也有助于系统设计者更好地调试模型。这项工作的另一个贡献是对可解释性的评价，这是一项具有挑战性的任务。幸运的是，反事实的解释非常适合标准的定量评价。为了衡量解释质量，我们设计了两种类型的评价指标，一种是从用户的角度(即用户为什么喜欢该商品)，另一种是从模型的角度(即该商品为什么被模型推荐)。我们将我们的反事实学习算法应用于一个黑盒推荐系统，并评估在五个真实数据集上生成的解释。结果表明，我们的模型比最先进的可解释推荐模型产生更准确和有效的解释。

论文地址：https://arxiv.org/pdf/2108.10539.pdf

代码地址：https://github.com/chrisjtan/counter

推荐理由：本文使用类似对抗训练的方法，给出了对于推荐系统的可解释方法，具有较高的参考价值。

标题：SIGIR21 & 中科大｜Causal Intervention for Leveraging Popularity Bias in Recommendation了解详情

简介：推荐系统通常面临着流行度偏差问题：从数据的角度来看，商品在交互频率上呈现出不均匀的(通常是长尾)分布；从方法的角度来看，协同过滤方法容易过度推荐热门商品而进一步放大偏差。在推荐系统中考虑流行度偏差无疑是至关重要的，现有的工作主要是基于倾向的无偏学习或因果嵌入来消除这种偏差效应。然而，我们认为并非所有的数据偏差都是不好的，也就是说，一些商品表现出更高的受欢迎程度是因为它们更好的内在质量。盲目追求无偏学习可能会去除数据中的有益模式，降低推荐的准确性和用户满意度。这项工作研究了推荐方面的一个未被探索的问题——如何利用流行度偏差来提高推荐的准确性。关键在于两个方面:如何在训练过程中消除流行度偏差的不良影响。这对推荐产生过程的因果机制提出了质疑。在此基础上，我们发现商品受欢迎程度在暴露项目与观察到的交互之间起混淆作用，导致偏差放大的不良影响。为了实现我们的目标，我们提出了一种新的推荐训练和推理范式，称为流行-偏差消除和调整(PDA)。它消除了模型训练中的混杂流行偏差，并通过因果干预将推荐评分与期望流行偏差进行调整。我们在潜在因素模型上展示了新的范式，并在来自快手、豆瓣和腾讯的三个真实数据集上进行了广泛的实验。实证研究表明，去混淆训练有助于发现用户的真实兴趣，而带有人气偏差的推理调整可以进一步提高推荐精度。

论文地址：https://arxiv.org/pdf/2105.06067.pdf

代码地址：https://github.com/zyang1580/PDA

推荐理由：本文提出了如何更好地利用popularity bias，而不是完全的消除它，这样可以带来更好的推荐精度，具有很高的参考价值。

如果你正在从事或关注 因果学习研究、实现与应用，欢迎加入“智源社区-因果学习-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

扫描下方二维码，加入因果学习兴趣群。备注：“姓名+单位+因果”才会验证进群哦