《因果学习周刊》第13期：ICLR 23因果推断高分论文

No.13

智源社区

因果学习组

因

果

学

 习

研究

观点

资源

活动

周刊订阅

告诉大家一个好消息，《因果学习周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《因果学习周刊》。订阅方法：

方式1：扫描下面二维码，进入《因果学习周刊》主页，选择“关注TA”。

方式 2：点击本文下方的“阅读原文”，进入《因果学习周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。

关于周刊

因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第12期《因果学习周刊》。

本期简介：本期周刊总结了ICLR 23投稿中涉及到的一些因果推断的研究型文章，论文整体价值较高，对一些传统的基础的问题有了一些新的突破，例如高维生物数据的神经因果特征选择、用于领域泛化的因果平衡、用于瞬时效应和时间效应的因果表征学习等问题，这些文章也向前推进了一步，值得学习和借鉴！

周刊采用社区协作的模式产生，欢迎感兴趣的朋友们参与我们的工作，一起来推动因果学习社群的分享、学习和交流活动。可以扫描文末的二维码加入因果学习社区群。

本期贡献者：李昊轩 北京大学

论文推荐

标题：ICLR 23 Submission (7.5)｜ GEASS: Neural causal feature selection for high-dimensional biological data｜GEASS: 高维生物数据的神经因果特征选择了解详情

简介：识别高维生物数据中的非线性因果关系是一项重要任务。然而，目前基于神经网络的因果关系检测方法对这些数据的可解释性差，不能很好地扩展到高维制度。这里我们提出了GEASS（Granger fEAture Selection of Spatio temporal data），它通过一个神经网络识别高维时空数据的稀疏Granger因果关系机制。GEASS在理论上保证恢复具有空间/时间Granger因果关系的特征的情况下，最大化了稀疏规则化的多维转移熵。稀疏规范化是通过一个新的组合随机门层实现的，以选择稀疏的非重叠特征子集。我们在几个合成数据集和来自单细胞RNA测序和空间转录组学的真实生物数据中证明了GEASS的功效。

论文地址：https://openreview.net/pdf?id=aKcS3xojnwY

标题：ICLR 23 Submission (7.33)｜ Combinatorial Pure Exploration of Causal Bandits｜因果Bandits的组合纯探索了解详情

简介：因果Bandits的组合纯探索是以下的在线学习任务：给定一个具有未知因果推理分布的因果图，在每一轮中我们选择一个变量子集进行干预或不做干预，并观察所有随机变量的随机结果，目标是使用尽可能少的几轮，我们可以输出一个干预，在奖励变量Y上给出最好（或几乎最好）的预期结果，概率至少为1-$\delta$，其中$\delta$是一个给定的置信度。我们在两类因果模型--二元广义线性模型（BGLM）和广义图上提供了第一个依赖差距和完全自适应的纯探索算法。对于BGLM，我们的算法是第一个专门为这一设置而设计的算法，并实现了多项式的样本复杂度，而所有现有的通用图的算法要么样本复杂度与图的大小成指数关系，要么是一些不合理的假设。对于一般的图，我们的算法在样本复杂度上有很大的改进，它几乎与我们证明的下限相匹配。我们的算法通过对先前的因果Bandits算法和先前的自适应纯探索算法的新的整合来实现这种改进，前者利用了因果Bandits中丰富的观察反馈，但对奖励差距没有适应性，而后者的问题正好相反。

论文地址：https://openreview.net/pdf?id=pBBsrPzq7aF

标题：ICLR 23 Submission (6.5)｜ Causal Balancing for Domain Generalization｜用于领域泛化的因果平衡了解详情

简介：虽然机器学习模型在各种现实世界的任务中迅速推进了最先进的技术，但鉴于这些模型容易受到虚假关联的影响，域外（OOD）的泛化仍然是一个具有挑战性的问题。我们提出了一种平衡的小批量抽样策略，基于数据生成过程的基本因果机制的不变性，将有偏差的数据分布转化为无杂散的平衡分布。我们认为，在这种平衡分布上训练的贝叶斯最优分类器在足够多样化的环境空间中是最小最优的。当利用足够多的训练环境时，我们还为提议的数据生成过程的潜在变量模型提供了可识别性保证。在DomainBed上进行的实验表明，我们的方法在该基准上报告的20个基线中获得了最佳性能。

论文地址：https://openreview.net/pdf?id=F91SROvVJ_6

标题：ICLR 23 Submission (6.5)｜Causal Representation Learning for Instantaneous and Temporal Effects｜用于瞬时效应和时间效应的因果表征学习了解详情

简介：因果表征学习是指从高维观察结果（如图像）中识别基本的因果变量及其关系的任务。最近的工作表明，在假设它们之间没有瞬时因果关系的情况下，人们可以从观察的时间序列中重建因果变量。然而，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这就有效地产生了 "瞬时 "效应，使以前的可识别性结果无效。为了解决这个问题，我们提出了iCITRIS，一种因果表征学习方法，允许在已知干预目标的时间序列中出现瞬时效应。iCITRIS从时间观察中识别潜在的多维因果变量，同时使用可区分的因果发现方法来学习它们的因果图。在三个视频数据集的实验中，iCITRIS准确地识别了因果变量及其因果图。

论文地址：https://openreview.net/pdf?id=itZ6ggvMnzS

标题：ICLR 23 Submission (6.33)｜ Neural Causal Models for Counterfactual Identification and Estimation｜用于反事实识别和估计的神经因果模型了解详情

简介：评估关于如果采取了不同的行动方案世界会如何的假设性陈述，可以说是现代人工智能系统所期望的一种关键能力。反事实推理是公平性讨论的基础，也是确定指责和责任、信用分配和后悔的基础。在本文中，我们研究了通过神经模型对反事实陈述的评估。具体来说，我们解决了进行这种评价所需的两个因果问题，即从观察和实验数据的任意组合中进行反事实识别和估计。首先，我们表明神经因果模型（NCMs）具有足够的表达能力，并编码了进行反事实推理所需的结构约束。其次，我们开发了一种同时识别和估计反事实分布的算法。我们表明，这种算法对于在一般情况下决定反事实的识别是合理和完整的。第三，考虑到这些结果的实际意义，我们引入了一种新的策略，使用生成式对抗网络对NCM进行建模。仿真结果证实了所提出的方法。

论文地址：https://openreview.net/pdf?id=vouQcZS8KfW

标题：ICLR 23 Submission (6.33)｜ Causal Imitation Learning via Inverse Reinforcement Learning｜通过逆向强化学习进行因果模仿学习了解详情

简介：在不熟悉环境的情况下，儿童最常见的学习方式之一是通过模仿成人。模仿学习是指模仿者从专家的示范中学习在未知环境中的行为；奖励信号对模仿者来说仍然是潜在的。本文通过因果透镜研究模仿学习，并将为行为克隆开发的分析和工具（Zhang, Kumor, Bareinboim, 2020）扩展到反强化学习。首先，我们提出了新的图形条件，允许模仿者学习一个与专家的行为政策一样好的政策，即使是在模仿者和专家的状态行动空间不一致，并且存在未观察到的混杂因素（UCs）的情况下。当提供关于未知奖励函数的参数化知识时，这样的政策可能会优于专家的政策。另外，我们的方法很容易扩展，即使在存在UC的情况下，也可以利用现有的IRL算法，包括乘法权重算法（MWAL）（Syed & Schapire, 2008）和生成对抗性模仿学习（GAIL）（Ho & Ermon, 2016）。最后，我们通过使用真实世界和合成数据进行模拟来验证我们的框架。

论文地址：https://openreview.net/pdf?id=B-z41MBL_tH

标题：ICLR 23 Submission (6)｜ Causal Estimation for Text Data with (Apparent) Overlap Violations｜具有（明显的）违背重叠假设的文本数据的因果估计了解详情

简介：考虑估计文本文件的某些属性的因果效应的问题；例如：写一封礼貌的和粗鲁的电子邮件对响应时间有什么影响？为了从观察数据中估计因果效应，我们需要调整影响处理和结果的文本的混杂方面--例如，文本的主题或写作水平。这些混杂的方面是先验的，所以调整整个文本似乎是很自然的（例如，使用transformer）。然而，因果识别和估计程序依赖于重叠的假设：对于所有级别的调整变量，都有随机性的遗留，所以每个单元都可能（不）接受治疗。由于这里的治疗本身是文本的一个属性，它是完全确定的，重叠显然被违反了。本文的目的是说明如何处理因果识别，并在明显违反重叠的情况下获得稳健的因果估计。简而言之，我们的想法是使用监督表征学习来产生一个数据表征，保留混杂的信息，同时消除只对治疗有预测作用的信息。然后这个表征就足以进行调整并满足重叠。根据非参数估计的结果，我们表明这个程序对条件性结果的错误估计显示出鲁棒性，并产生一个低偏差的估计器，在弱的条件下允许有效的不确定性量化。经验结果显示，相对于自然（基于transformer）的基线，偏差减少了，不确定性量化也有很大改善。

论文地址：https://openreview.net/pdf?id=Ha2MnQM9Ph

如果你正在从事或关注 因果学习研究、实现与应用，欢迎加入“智源社区-因果学习-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

扫描下方二维码，加入因果学习兴趣群。