因果推断推荐系统工具箱 - CCF（二）

文章名称

【AAAI-2019】【Rutgers University】Causal Collaborative Filtering

核心要点

文章旨在将现有的基于相关性的协同过滤模型，扩展到基于因果的协同过滤模型，使得模型能够打破观测数据的边界，真正的估计那些没有被观测到的反事实结果。作者提出了一个通用的协同过滤框架CCF来建模推荐系统中的因果关系，并且表明原有的基于相关性的协同过滤模型是CCF的特例，是简化CCF因果图之后的结果。作者还提出了一个条件干预方法来模拟do-calculus，以此从观测数据中估计因果关系，并利用新提出的反事实约束学习框架估计用户对物品的偏好。

上一节描述了CCF框架的研究背景，以及如果把现有的基于相关关系的模型统一到因果推断的框架下。并且，介绍了CCF需要解决如何估计的问题。本节具体介绍估计的细节。

方法细节

问题引入

估计需要进行反事实推理（干预推理，估计没有见过的情况的结果）。这种情况下，进行随机实验的估计是最准确的，但通常我们只有观测数据。因此常用的方法有两种,

• Direct Intervention Models。作者提到的直接干预方法，是指利用随机数据，模拟do-calculas[1]。作者把Figure1中的子图c，转换成Figure2中的子图a，该图中模拟了推荐系统的两个步骤，分别表示哪些物品会被曝光给用户以及用户对物品的偏好。为了估计，遵循因果图干预的原则，利用随机数据可以模拟切断之后，因果图（Figure2子图b）上的结果，即。
• Inverse Propensity Scoring (IPS) Models。基于Figure2子图a的两阶段假设，用户对物品的偏好。其中是真正的偏好，表示模型用户有多大概率看到物品。因此，得到IPS方法。众所周知，在较小的时候，模型会有较大方差。

casual graph

manipulation causal graph

具体做法

推荐系统通常会利用用户的历史交互进行学习，从而实现个性化推荐。而历史交互受到历史推荐结果的影响，因此不可避免的引入了一些偏差。为了准确估计用户对特定物品的偏好，需要回答反事实问题，”如果历史上没有这样的交互，推荐系统做出别的推荐，用户对当前物品的偏好是否会发生变化？“

因此，作者将Figure2中子图a扩展为子图c。其中表示用户历史的交互行为。此时，用户被曝光的物品由用户和其历史行为决定，即，这里的其实就是有偏的推荐模型。而是未知的、无偏的用户对物品的偏好。

我们的目标是利用现有数据和推荐模型得到对给定用户-物品元组偏好的无偏的估计。

值得注意的是，虽然Figure2的子图c忽略了许多推荐系统中复杂的细节，但作者表示这个因果图足够通用，并且其提出的方法可以扩展到更复杂的结构。

Conditional Intervention

在子图c的情况下，为了估计，需要控制满足后门准则的随机变量集合。由于已经是对于给定的用户（condition on U），因此只需要控制随机变量即可，作者采用conditional intervention[29,30]。

由于，因此为用户推荐物品，相当于进行了干预。估计相当于估计。可以推导出，这个估计等价于估计。具体推导过程如下图所示。

equivalent conditional intervention

其中，

• 第一步应用了全概率公式，并且U，X满足后门准则。
• 第二步是由于推荐物品发生在之后。因此，对没有概率影响。
• 第三步整理出赋值的条件。
• 第四步推导出条件期望公式。

也就是说，估计最后的条件期望等价于估计。可以看出，这种反事实的估计方法与传统匹配方法的差别主要是条件概率。如果只考虑观测数据，则=1。整个期望，就是模型给出的所带来的结果。然而，事实上存在可能的历史行为，如果这些物品被曝光，用户也可能和它们进行交互。**因此，需要反事实的估计。

本节描述了如何把估计的问题转化为条件期望，并且强调存在其他的交互历史的情况，需要进行反事实推理。下一节继续介绍，反事实推理和基于反事实约束的学习方法。

心得体会

两个不步骤

作者在Figure2的子图a模拟了推荐系统的两个步骤。个人理解，这两个步骤虽然有先后顺序，但其实是一体的。只不过在因果上存在，因为影响了什么被曝光给用户，因此影响了用户的偏好的观测值。作者单独刻画的主要目的时表示，此时的是真是的，纯粹的偏好，没有受到其他偏差的影响。

Direct Method

实际上很多推荐系统纠偏的方法利用插值辅助进行无偏估计，这种方法有时也被成为直接法。

文章引用

[1] Stephen Bonner and Flavian Vasile. 2018. Causal embeddings for recommendation. In Proceedings of the 12th ACM Conference on Recommender Systems. 104–112.

[2] Judea Pearl. 2000. Causality: Models, reasoning and inference. Cambridge University Press (2000).

[3] Judea Pearl, Madelyn Glymour, and Nicholas P Jewell. 2016. Causal inference in statistics: A primer. John Wiley & Sons.