BAAI 2020 北京智源大会 | 林伟 | Instrumental Variables for Multiple Causal Inference: Old and New

回放地址

林伟-Instrumental Variables for Multiple Causal Inference: Old and New

报告内容

概述

林伟研究员(北京大学研究员，智源学者)在本次talk中主要介绍了使用instrumental variables 来进行因果推理，通过设置一系列的assumption，将IV中的经典方法Two-stage least squares扩展到高维，并得到了很好的实验结果。

主要内容

研究者一直在诟病深度学习等里面的“黑箱”算法，我们怎么来理解我们模型中变量之间的因果机制，是一个非常重要的问题，尤其是对发展下一代AI来说。在下图中的例子中我们不知道是x造成了y，还是y造成了x，我们只能观察到x和y之间的联合分布。进一步说明multiple causal models can lead to the same prediction model

回顾了Judea Pearl提出的几个因果推理的工具。本次talk主要涉及到

• causal assumption 在你了解你的method之前这一部分是最critical的
• control confounding 这是因果推理中最难的一部分
• mediation analysis 本次talk中主要涉及区分direct effect 和indirect effect
  

在现代机器学习中我们不能仅仅关注一个简单cause 变量，我们需要关注多变量甚至是高纬度的cause变量。

介绍IV，就算是X对Y没有影响，但是由于U的存在，会使X和Y显得correlated。

继续介绍IV，目标是要把Two-stage least squares方法扩展到高维

IV的第三个条件是最苛刻的，我们能对它进行relax吗？

介绍了高纬度的instrumental variable，但是会引起biased，该如何解决？

对IV的第三个assumption进行relax，但是又遇到了identifiability 的问题：因为Z在两个式子中都出现，无法分清Z和α的direct effect和indirect effect，应该怎么做？

将identifiability问题转换为解linear system，但是这个方程是不能解的，不过如果我们将solution假想成sparse，是能解的。从compressed sensing中借鉴了一些思想，变成structed compressed sensing problem。

又给了一个assumption，使得方程能够可解。

在前面得到identification的结果后，扩展Two-stage least squares方法来estimate我们感兴趣的参数。

给了相应的理论证明。

做了一些实验：如果identification问题能满足，那么我们的方法是最好的；如果不能满足，那么所有的方法都会fail。

怎样将这些研究应用到真实的AI系统中呢？