因果推理（causal inference）初步调研

因果推理（causal inference）初步调研

NIPS相关论文

NIPS有相关的causal inference板块，但总体来看，相比于较为成型的visual板块显得更加五花八门，少有一个统一的框架来解决关于因果推理的任务，甚至对任务的界定也比较模糊，大家各自为战。
比如treatment effects estimation任务，就包括individual treatment effects estimation和Heterogeneous Treatment Effects estimation。该任务简单来讲就是给定有biases的data，并且没有反事实的data，来回答反事实的问题。
以及causal effects identification任务：根据有关数据生成过程的定性知识（编码为因果图）和已知的数据分布来判断干预后的分布是否是可计算的。
以及致力于构建统一的因果推理或因果发现框架，实现在不同域上均能发现推理出因果关系。这种框架目前用元学习的方法居多。
或者用因果关系来解决其他的问题。例如：用因果关系来评估深度表示模型生成的表示（representation）的效果；从因果的角度来看神经网络的发展；提出方法来评估因果模型的性能。

1. Representation Learning for Treatment Effect Estimation from Observational Data 2018
   现有的individual treatment effects estimation（ITE）方法致力于平衡control和treated group之间的分布。提出了SITE，在平衡data分布的同时，兼顾了local similarity。
2. Machine Learning Estimation of Heterogeneous Treatment Effects with Instruments 2019
   在valid instrument的帮助下，在不可见混淆因子（confounder）时，用任意的ML方法来解决Heterogeneous Treatment Effects estimation。
3. Adapting Neural Networks for the Estimation of Treatment Effects 2019
   自适应的设计和训练neural network来解决Estimation of Treatment Effects。Estimation的两阶段：用多个model来拟合期望的outcome和treatment的概率；将model输入到estimator来评估effect。其中model用自适应的neural network。
4. Specific and Shared Causal Relation Modeling and Mechanism-Based Clustering 2019
   当前的因果发现方法假设有固定的潜在因果模型，但因果模型在不同域之间是变化的。提出统一的因果发现框架SSCM，考虑到了不同individual/group之间的差异。
5. MetaCI: Meta-Learning for Causal Inference in a Heterogeneous Population 2019
   用元学习的方法来提出一般性的因果推理框架，解决不同域之间的分布差异。以average treatment effects评估做为评价指标。
6. Identification of Conditional Causal Effects under Markov Equivalence 2019
   该作者前一篇论文用马尔可夫公式来构建因果图，编码数据生成的定性知识，从而可以识别无条件的causal effects。本篇在此基础上实现了对有条件的causal effects的识别。

ICML相关论文

1. Validating Causal Inference Models via Influence Functions 2019
   提出用influence function来评估因果推理模型的性能。这里的因果模型主要指解决treatment effects estimation问题的模型。influence function从loss function衍化而来。
2. Neural Network Attributions: A Causal Perspective 2019
   将neural network视为结构因果模型，从而提出算法来计算每个feature的causal effect。从因果的角度来提出神经网络发展的attribution method。
3. Robustly Disentangled Causal Mechanisms: Validating Deep Representations for Interventional Robustness 2019
   从因果的角度来评估深度表示模型生成的disentangled representation的好坏。
4. Limits of Estimating Heterogeneous Treatment Effects: Guidelines for Practical Algorithm Design 2018
   提出一种Guidelines，定性Heterogeneous Treatment Effects评估任务的限制，以此建立条件。发现了在小样本下主要的问题是selected biases；在大样本下主要是对control和treated outcomes的建模。最终提出了用non-stationary高斯过程和doubly-robust超参的算法。

ICLR相关论文

1. GANITE: ESTIMATION OF INDIVIDUALIZED TREATMENT EFFECTS USING GENERATIVE ADVERSARIAL NETS 2018
   用GAN网络来解决individual treatment effects estimation，用GAN来学习反事实分布的不确定性。建立counterfactual generator来生成反事实的outcomes，用ITE生成器来训练。
2. A META-TRANSFER OBJECTIVE FOR LEARNING TO DISENTANGLE CAUSAL MECHANISMS 2020
   由Bengio提出的，利用元学习的目标来学习disentangled causal mechanism。

causal inference和CV的关系

从上述的论文来看causal inference和CV相差加大。causal inference领域本身还没有形成较为主流的方法或者任务定义，没有较为统一的causal model框架，应用到CV领域较难。从CV三会也可看出和causal相关的论文极少。