因果发现31种高效经典方案汇总，附配套算法和代码

因果发现（Causal Discovery）是一个复杂的过程，其目标是从大量的数据中确定变量之间的因果关系。这个过程通常涉及到的是如何从纷繁复杂的数据中发现其中隐含的因果关系。有时，研究者可以通过随机实验进行干预来发现因果关系，但由于开销、道德考虑等原因有时无法进行这样的实验，通常只有观测数据，而缺乏干预数据。

因此，如何有效地进行因果发现，成为了一个非常具有挑战性的问题。目前，有许多研究者正在努力开发新的方法。而在已有的方法中，也有许多成果很值得我们学习。

我这次就帮大家整理了31种使用观测数据/观测和干预数据混合进行结构发现的方法，主要分为2大类：基于组合/搜索的算法和基于连续优化的算法。篇幅原因只做简单介绍，建议同学们收藏了仔细学习。

方法原文及源码需要的同学看文末

基于组合/搜索的算法

1.Distinguishing cause from effect using quantiles: Bivariate quantile causal discovery

二元分位数因果发现

算法简述：论文通过最小描述长度原则，将因果关系与分位数回归联系起来，开发了一种新方法，称为二元分位数因果发现(bQCD)，它假设没有混淆、选择偏见或反馈，并使用多个分位数水平来区分因果关系。这种方法不仅适应于加法，还适应于乘法或位置-尺度产生机制。在合成和真实数据集上的实证比较表明，bQCD在各种实现中表现出稳健性，计算效率高，优于现有方法。

2.Learning DAGs without imposing acyclicity

在不强加非周期性的情况下学习DAG

算法简述：论文探讨是否有可能在不显式施加无环性约束的情况下从数据中学习一个有向无环图（DAG）。 作者将结构性学习作为稀疏矩阵分解问题来解决，并通过经验表明解决 ℓ1-penalized optimization 可以很好地恢复真实图，而且通常可以恢复几乎所有DAG图。 此外，这种方法计算效率高，并且不会像经典结构性学习算法那样受到组合复杂性爆炸的影响。

3.Learning directed graphical models from Gaussian data

从高斯数据中学习有向图形模型

算法简述：本文介绍了一种新的有向图形模型——高斯图形交互模型(GGIM)，它基于图上平稳高斯过程和拉普拉斯矩阵的方程。通过简单理论，作者解释了图形模型中的边代表的含义。当限制在无向图上时，GGIM的拉普拉斯矩阵相当于标准逆协方差矩阵，表示条件依赖关系。作者还定义了平稳高斯过程中两个元素之间的有向条件独立性。学习稀疏GGIM的问题可以转化为LASSO问题。

4.Chacterizing distribution equivalence and structure learning for cyclic and acyclic directed graphs

循环和非循环有向图的分布等价性和结构学习的特征

算法简述：这篇文章提出了一个通用、统一的等价性概念，用于线性高斯因果定向图形模型。在这个概念中，两个结构被视为等价，如果它们可以生成相同的数据分布。此外，作者还提出了一个较弱的等价性概念quasi-equivalence，它表示从观察数据中可以识别的程度。文章还提出了分析和图形方法来表征两个结构的等价性，并提出了一个基于得分的从观察数据中学习结构的方法，可以成功地处理不同类型的结构。

5.Causal structure learning from time series: large regression coefficients may predict causal links better in practice than small p-values

从时间序列中学习因果结构

算法简述：论文考察了如何将现有思想结合起来，在具有现实世界地球科学数据常见挑战的半现实和现实时间序列数据上取得具有竞争力的性能。作者还讨论了a)利用线性方法识别非线性系统中因果联系的原理，b)基于模拟的解释，说明为什么大的回归系数在实践中可能比小的p值更好地预测因果联系，以及为什么归一化数据有时会妨碍因果结构学习。

• 6.Bayesian causal structure learning with zero-inflated Poisson Bayesian networks

• 7.Causal learning with sufficient statistics: an information bottleneck approach

• 8.Causal discovery from heterogeneous/nonstationary data with independent changes

• 9.Causal discovery from soft interventions with unknown targets: characterization and learning

• 10.A simultaneous discover-identify approach to causal inference in linear models

基于连续优化的算法

1.Disentangled generative causal representation learning

解耦生成式因果表征学习

算法简述：本文提出了一种解耦生成式因果表示学习（DEAR）方法，用于处理潜在变量之间存在因果关系的情况。该方法使用结构因果模型作为双向生成模型的先验，并通过GAN损失和监督信息进行联合训练。实验证明，DEAR方法在因果可控生成和下游任务中具有有效性和优势。

2.Causal adversarial network for learning conditional and interventional distributions

用于学习条件分布和干预分布的因果对抗网络

算法简述：论文提出了一种新的因果对抗网络（CAN），它可以从数据中学习因果关系，并根据条件或干预生成样本。与现有的因果GAN不同，CAN不需要预先给出的因果图。CAN包括两个部分：标签生成网络（LGN）和条件图像生成网络（CIGN）。LGN学习并从标签的因果模型中采样，然后将这些标签提供给CIGN，它学习标签与像素之间的关系，并根据这些关系生成图像。这个框架还具有一个干预机制，使模型能够从干预分布中生成样本。

3.DAGs with No Fears: A closer look at continuous optimization for learning Bayesian networks

深入了解贝叶斯网络学习的连续优化

算法简述：论文重新审视了一个名为NOTEARS的连续优化框架，用于学习贝叶斯网络。文章首先将现有循环性的代数特征推广到一类矩阵多项式，重点关注每条边只有一个参数的情况，证明了NOTEARS公式中Karush-Kuhn-Tucker（KKT）最优条件无法满足，除非在特殊情况下。然后为等价改写的问题求得了KKT条件，并证明了它们确实是必要的，并将它们与图中某些边缺失的显式约束联系起来。如果得分函数是凸的，那么这些KKT条件对于局部最小性也是充分的，尽管约束是非凸的。在KKT条件的启发下，作者提出了一种局部搜索后处理算法，并证明它通常可以将所有测试算法的结构Hamming距离提高2倍或更多。

4.On the role of sparsity and DAG constraints for learning linear DAGs

稀疏性和DAG约束对学习线性DAG的作用

算法简述：论文研究了如何学习DAG（有向无环图）的结构。由于DAG的搜索空间很大，这使得学习其结构非常具有挑战性。以前的方法使用了最小二乘目标和DAG的代数特征，但需要硬性DAG约束，这可能会导致优化困难。作者提出了一种新的方法，它考虑了稀疏性和DAG约束在学习DAG模型中的作用。

在理论和实验中，作者证明了软稀疏性和DAG约束可以用来学习DAG，还提出了一种基于似然的评分函数，它不需要硬性DAG约束，可以更容易地解决优化问题。

5.Differentiable causal discovery under unmeasured confounding

可微分的未测量混杂因素下的因果发现

算法简述：本文提出了一种基于不同微分代数约束的因果发现方法，用于处理混杂系统中由于未测量变量的存在而导致的数据混杂问题。该方法使用离散搜索过程选择编码观察变量之间普通条件独立约束的无环有向混合图（ADMGs），特别是祖传ADMGs。通过推导出完全表征祖传ADMGs空间的不同微分代数约束，并将因果发现问题转化为连续优化问题，设计了可微程序来寻找最佳拟合的ADMG。

• 6.DYNOTEARS: Structure learning from time-series data

• 7.Learning neural causal models from unknown interventions

• 8.A critical view of the structural causal model

• 9.Causal discovery with reinforcement learning

• 10.Amortized learning of neural causal representations

• 11.Amortized causal discovery: Learning to infer causal graphs from time-series data

• 12.Causal discovery in physical systems from videos

• 13.CASTLE: regularization via auxiliary causal graph discovery

• 14.Gradient-based neural DAG learning

• 15.Masked gradient-based causal structure learning

• 16.CausalVAE: disentangled representation learning via neural structural causal models

• 17.Causal autoregressive flows

• 18.Learning DAGs without imposing acyclicity

• 19.Learning sparse nonparametric DAGs

• 20.Causal discovery from incomplete data: a deep learning approach

• 21.Efficient and scalable structure learning for Bayesian networks: Algorithms and Applications

关注下方《学姐带你玩AI》

回复“因果发现”领取方法原文及源码

码字不易，欢迎大家点赞评论收藏！