因果可解释推荐系统工具箱 - CountER（二）

文章名称

【CIKM-2021】【Rutgers University】Counterfactual Explainable Recommendation

核心要点

文章旨在对推荐模型的结果进行解释。作者构建了一个因果推断的框架，对每一个用户-物品元组求解一个优化问题，识别出在原物品的特性方面最小的改变，以至于生成的反事实物品可以反转推荐模型的结果。这些最小的特性改变被成为counterfactual explanation。此外，作者定义了两个衡量指标来量化explanation的质量。

上一节介绍了在实际应用中matching-based可解释性方法的弊端，以及其与counterfactual-based方法区别。并介绍了如何反事实解释的概念以及其两个重要的量化指标。本节将继续介绍作者提出的反事实推理框架，以及如何产出反事实解释。

方法细节

问题引入

反事实解释是在已有推荐模型的基础上进行模型无关解释生成的，是post-hoc的。作者表示，该方法可以被应用到所有利用物品特性和用户偏好的推荐模型上，具有普适性。已有推荐模型可以被形式化如下，

• 推荐模型为，模型参数为；
• 模型对用户，物品的评分为；
• 是上一节讲到的物品特征和用户偏好矩阵，表示其他特征，比如历史点击、评分倾向、评论、图片等用户行为或物品属性；
• 优化如下图所示的交叉熵损失来实现模型参数的求解。

cross-entropy loss

因为交互数据比较稀疏，因此作者采用1:2的比例进行了负采样。

具体做法

为了实现反事实解释，作者提出了反事实推理框架，CounterER。其本质是定义了一个如下图所示的反事实优化问题，通过优化该问题，可以得到满足上节提到的Explanation Complexity和Explanation Strength条件的反事实解释。

原始的反事实优化框架如下，

Counterfactual Optimization Problem

CounterER形式化的优化框架如下，其中利用了上一节提到的对Explanation Complexity和Explanation Strength的量化表示，

Counterfactual Optimization Problem in CounterER

该优化问题的目标是寻找Explanation Complexity最小的解释（最终得到的就是最小改动），约束条件是保证解释具有一定的效力，也就是说确保有足够的特性的微小变动能够带来足够大的模型评分的变动（足以把物品从 的列表中剔除）。因此，可以对上述优化目标做一个小改动，用模型给出排序列表的当前物品的得分与第 位物品得分的差距来代替 ，即 （每个物品的 不一样）。

Counterfactual Optimization Problem in CounterER with interpreted \epsilon

Relaxed Optimization

由于和都是不可导的，作者采用如下方式进行松弛，

• 用损失替换，保证微小变动的取值比较稀疏，实现减小复杂度的目标；
• 用hinge loss 代替排序约束；
• 利用拉格朗日乘子把约束优化问题转为无约束优化问题，得到如下图所示的优化框架，其中超参数用来控制解释强度对优化问题的影响，
  
  Relaxed Counterfactual Optimization Problem in CountER

值得注意的是，这样的松弛导致方法不能确保物品在改动后被剔除出列表，因此，需要在分析解释的时候进行校验，确保只对成功剔除的样本进行反事实解释的生成。

Discussion

（作者文中做的discussion，感觉还是很有必要说道说道）。

细心地读者可能发现，排名靠前的物品要想被从排序列表中剔除，需要改变更多的物品特性，解释复杂度一般会更高。作者表示这是合理的，有原因在于，对于模型强烈推荐的物品，本就距离反事实边界比较远，需要更多的变动，才能改变模型的决策。（个人理解，此时复杂度可能更多的来自于某几个特性的得分。当然多个特性组合起来导致决策变化也是有可能的，不过这种情况一般特性的得分比较平均）。

此外，作者表示，可以利用可训练的one-hot向量，来实现只用一个特性的改变来生成反事实解释，其优化目标如下图所示。值得注意，由于只有一个特性改变，因此将不会出现在优化目标里。

Single-Aspect Objective

心得体会

Aspect-Based Explanation

个人感觉，aspect-based可解释模型，可以被理解为在因子分解的基础上，迫使隐式空间的特征映射到一些有意义的物品特性上。其他方法，例如，disentangle的向量表示，attention可解释模型分别尝试把潜在特性正交分解（解耦分解）和计算原始输入的注意力权重，理论上都是在努力拆出可以被人类理解的要素。

在这个要素之上，原有matching-based可解释方法，是匹配用户喜好和物品特性与counterfactual-based可解释方法是有区别的（上节讲过这部分，参见因果可解释推荐系统工具箱 - CountER（一））。因此，counterfactual可解释性和aspect-based方法实际上是两个正交的方法维度，可以被应用到其他方法上去。

内层优化问题

不难看出，方法要求对每一个需要产生反事实是解释的样本进行内层优化（其他方法也有，典型的比如元学习的MAML），可能导致模型计算量较大。依稀记得在一些其他领域的论文里有把内层优化转化成非优化问题的方法，也许也可以在这里进行计算加速，毕竟可解释算法目前的计算效率还是很感人的...例如，SHAP...