《因果学习周刊》第5期：NeurIPS2021 因果发现最新进展

No.05

智源社区

因果学习组

因

果

学

 习

研究

观点

资源

活动

关于周刊

因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第5期《因果学习周刊》。

本期周刊承接上期中关于因果发现(Causal Discovery)的介绍，总结了最新放榜的NeurIPS 2021会议接收论文中与因果发现相关的文章，代表了因果发现领域最前沿的关注方向与最新进展，也提出了一些新的问题设定与全新算法，希望给同领域或相似领域的研究者带来帮助和启发。

周刊采用社区协作的模式产生，欢迎感兴趣的朋友们参与我们的工作，一起来推动因果学习社群的分享、学习和交流活动。可以扫描文末的二维码加入因果学习社区群。

本期贡献者：刘家硕

论文推荐

标题：NeurIPS2021 | Iterative Causal Discovery in the Possible Presence of Latent Confounders and Selection Bias了解详情

简介：我们提出了迭代因果发现(ICD)算法，用于在潜在混杂因素和选择偏差存在的情况下恢复因果图。ICD依赖于因果马尔可夫和可靠性假设，恢复了潜在因果图的等价类。它从一个完整的图开始，由单个迭代阶段组成，通过识别连接节点之间的条件独立(CI)，逐步完善这个图。独立和因果关系在任何迭代之后都是正确的，可以随时呈现ICD。本质上，我们将CI条件集的大小与它在图上与测试节点的距离联系起来，并在后续迭代中增加这个值。因此，每一次迭代都细化了先前迭代所恢复的图，这些迭代具有更小的条件集(更高的统计效力)，这有助于算法的稳定。我们的经验证明，与FCI、FCI+和RFCI算法相比，ICD需要更少的CI测试便可以学习到更准确的因果图。

论文地址：https://arxiv.org/pdf/2111.04095.pdf

推荐理由：本文提出了迭代因果发现算法，对于潜在的混淆因子与选择性偏差具有很强的抵抗作用。令人意外的是，这篇文章与先前分享的“Recursive Causal Structure Learning in the Presence of Latent Variables and Selection Bias”文章在题目上具有很强烈的相似程度，问题设定也十分相似，但作者从属于两个科研机构，有兴趣的朋友可以对比一下看看这两篇文章。

标题：NeurIPS2021 | Recursive Causal Structure Learning in the Presence of Latent Variables and Selection Bias了解详情

简介：我们考虑了在存在潜在混淆变量和选择偏差的情况下，从观测数据中学习系统的因果MAG(Maximal Ancestral Graph)的问题。基于约束的方法是解决这一问题的主要方法之一，但现有方法在处理大型图时要么计算代价太高，要么缺乏完整性保证。我们提出了一种新的计算有效的递归约束方法，是健全和完整的。我们方法的关键思想是，在每次迭代中标识和删除特定类型的变量。这使我们能够高效地递归地学习结构，因为这种技术既减少了所需的条件独立(CI)测试的数量，又减少了条件集的大小。前者大大降低了计算复杂度，而后者产生了更可靠的CI测试。我们提供了最坏情况下所需CI测试数量的上限。据我们所知，这是文献中最紧的上界。我们进一步提供了任何基于约束的方法所需的CI测试数量的下界。在最坏的情况下，我们所提出的方法的上界和下界最多相差一个等于变量数的因子。我们也通过模拟与真实实验对提出的方法与当前最优算法进行了比较。

论文地址：https://arxiv.org/pdf/2110.12036.pdf

推荐理由：本文提出了在存在潜在混淆因子与选择性偏差的情况下学习因果MAG的算法，并给出了很强的理论分析。

标题：NeurIPS2021 | Collaborative Causal Discovery with Atomic Interventions了解详情

简介：我们引入了一个新的协同因果发现问题，在这个问题的场景中，我们有多个独立的实体，每个实体都有自己的因果图，我们的目标是同时学习所有这些因果图。我们在没有因果充要性假设的情况下研究这个问题，使用极大祖先图(MAG)来建模因果图，并假设我们有能力主动地对实体执行独立的单顶点(或原子)干预。如果实体的M底层(未知)因果图满足聚类的自然性质，我们提出了算法来利用这样的性质，并仅需对于每个实体进行log(M)次原子干预即可恢复所有因果图。这明显少于每个实体分别学习每个因果图所需的n次原子干预，其中n是因果图中可观察节点的数量。此外，我们还提出一个下界来补充我们的结果，并讨论我们在多种协同设定下的扩展。

论文地址：https://arxiv.org/pdf/2106.03028.pdf

推荐理由：本文在因果发现的基础上，提出了一种全新的问题设定，即协同因果发现，该问题十分新颖且有很强的实际意义。

标题：NeurIPS2021 | Matching a Desired Causal State via Shift Interventions了解详情

简介：将一个因果系统从一个给定的初始状态转化为一个期望的目标状态，是一个涉及控制理论、生物学、材料科学等多个领域的重要课题。在因果模型中，这种转变可以通过实施一系列干预来实现。在本文中，我们的研究目标是通过主动学习的方法来确定能够匹配系统期望均值的干预。我们定义了可从转移干预中识别的马尔可夫等价类，并提出了两种保证完全匹配期望均值的主动学习策略。然后，我们推导出所需干预数量的最坏情况下界，并证明这些策略对于某些类别的图是最优的。特别地，我们表明我们的策略需要的干预可能比之前考虑的方法要少得多，这些方法优化了潜在因果图中的结构学习。与我们的理论结果一致，我们还通过实验证明，我们提出的主动学习策略需要的干预比几个基线方法更少。

论文地址：https://arxiv.org/pdf/2107.01850.pdf

推荐理由：本文首先提出并研究了一个有趣的问题，Causal Matching，即如何确定干预使得干预后的系统可以匹配到当前的系统，值得推荐。

标题：NeurIPS2021 | Instance-dependent Label-noise Learning under a Structural Causal Model了解详情

简介：由于深度神经网络容易过拟合标签噪声，标签噪声会使得深度学习算法的性能下降。让X和Y分别表示实例和干净标签。当Y是X的原因时，例如许多数据集的产生机制(如SVHN和CIFAR)，P(X)和P(Y|X)的分布是纠缠的。这意味着无监督实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是一个难题。在本文中，我们利用结构化的因果模型，提出了一种新的生成方法，用于实例依赖的标签噪声学习。特别地，我们表明适当地建模实例将有助于标签噪声转移矩阵的可识别性，从而学习到更好的分类器。从经验上看，我们的方法在模拟和真实标签噪声数据集上都优于所有最先进的方法。

论文地址：https://arxiv.org/pdf/2109.02986.pdf

推荐理由：本文提出了一个生成模型来解决含噪声标签的学习问题，并使用了结构因果模型来构建这样的生成模型，具有很好的启发意义。

标题：NeurIPS2021 | Learning latent causal graphs via mixture oracles了解详情

简介：我们研究在潜在变量存在的情况下，从数据重建一个因果图模型的问题。我们感兴趣的主要问题是恢复潜在变量的因果结构，同时允许变量之间存在一般的、潜在的非线性依赖关系。在许多实际问题中，原始观测值(如图像中的像素)之间的相关性远不如某些高级的、潜在的特征(如概念或对象)之间的相关性，这也是我们的研究目标。我们提供了一些条件，在这些条件下，潜在的表征和潜在的因果模型都可以通过一个Mixture Oracles被识别。证明是构造性的，并由此导出了几个算法来显式重建完整的图形模型。我们讨论了有效的算法，并提供了实验来说明算法的实际应用。

论文地址：https://arxiv.org/pdf/2106.15563.pdf

推荐理由：本文研究了潜在因果图的学习问题，并给出了可识别性的前提条件，具有较大的参考价值。

标题：NeurIPS2021 | Causal Effect Inference for Structured Treatments了解详情

简介：本文对结构化干预(如图表、图像、文本数据)的条件平均干预效果(Conditional Average Treatment Effects)进行估计。在干预效应的弱条件下，我们提出广义Robinson分解，它 (1)分离因果估计从而减少正则化误差，(2)允许接入任意模型进行学习，(3)在温和的假设下具有quasi-oracle的收敛保证。在小世界和分子图的实验中，我们证明了我们的方法在CATE估计方面优于之前的工作。

论文地址：https://arxiv.org/pdf/2106.01939.pdf

推荐理由：本文使用GNN来建模treatment的结构，并接入了模型之中，相较于之前的算法更加精细，具有更好的性能。

标题：NeurIPS2021 | BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery了解详情

简介：结构方程模型(SEM)是对有向无环图(DAG)所表示的因果关系进行推理的有效框架。最近的进展使得从观测数据中有效地估计DAG的最大似然点成为可能。然而，在真实的DAG是不可识别的和/或观测数据有限的情况下，点估计可能不能准确地刻画推断潜在图过程中的不确定性。我们提出了贝叶斯因果发现网络，一个变分推理框架，用于估计线性高斯SEM的DAG的分布。由于图的离散和组合性质，在DAG上开发一个完整的贝叶斯后验是具有挑战性的。我们分析了可扩展VI在DAG上的关键设计选择，例如 1)通过有表达能力的变分族来参数化DAG,  2)实现低方差连续随机优化的近似，以及 3)选取恰当的隐变量先验分布。我们提供了一系列关于真实数据和模拟数据的实验，表明在低维数据下，所提出方法在标准因果发现指标(如结构汉明距离)上优于最大似然方法。

论文地址：https://openreview.net/pdf?id=gbtDcLzwKUb

推荐理由：本文提出使用贝叶斯网络来估计DAG图，特别是刻画估计过程中的不确定性，具有一定的应用价值。

标题：NeurIPS2021 | Interventional Sum-Product Networks: Causal Inference with Tractable Probabilistic Models了解详情

简介：虽然概率模型是研究因果关系的一个重要工具，但这类方法主要受限于过高的推理复杂度。作为迈向可行因果模型的一步，我们考虑了使用门函数(例如神经网络)过参数化的和积网络(SPNs)来学习干预分布(inventional distributions)的问题。门函数提供一个任意干预的因果图作为输入，有效地包含了Pearl提出的Do操作，来预测SPN的参数。由此产生的干预性SPN是由一个以个人健康为主题的结构性因果模型来解释和验证的。我们对来自生成模型和因果模型的基线方法的试验结果表明，干预SPN确实既具有表达性，又具有因果性。

论文地址：https://arxiv.org/pdf/2102.10440.pdf

推荐理由：本文使用门函数来学习do-intervention之后的数据分布，具有很强的参考意义。

研究动态

智源LIVE丨智源因果社群：更优的协变量调整的平均因果作用估计

2021年11月17日，北京大学公共卫生学院研究员，博士生导师贾金柱在智源社区线上做了题为《更优的协变量调整的平均因果作用估计》的报告。

报告简介：在因果推断中，有协变量的时候，协变量的引入可能会提高因果效应估计的精度。但是如果建模不恰当，可能会带来负面影响。通过为潜在结果和协变量指定一个工作模型，可以证明，即使工作模型被错误指定，平均因果作用的估计也是一致和渐近正态的。本次报告中提出了一种设计良好的广义估计方程方法，在较为合理的条件下，协变量调整后的估计的平均因果作用总是比简单的均值差估计更有效。

报告视频回放和PPT下载：

https://event.baai.ac.cn/activities/186

如果你正在从事或关注 因果学习研究、实现与应用，欢迎加入“智源社区-因果学习-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

扫描下方二维码，加入因果学习兴趣群。