因果推理:PC算法

对于未知图结构的因果推理,可以利用PC算法构造DAG图。

基本定义

Skeleton:初始化图 G G G 为无向完全图。

PDAG:设 G = ( V , E ) G = (V, E) G=(V,E) 是一个图,若边集 E E E 中包含有向边和无向边,则称 是一个部分有向图。若部分有向图 中不存在有向圈,则称 是一个部分有向无环图 (PDAG)。

马尔科夫等价:贝叶斯网络 < G 1 , P 1 > <G1,P1> < G 2 , P 2 > <G2,P2>马尔科夫等价, 当且仅当 G 1 G_1 G1 G 2 G_2 G2 具有相同的框架和V结构。

有向无环图 G = ( V , E ) G = (V, E) G=(V,E) ,任意有向边 V i → V j ∈ E V_i \rightarrow V_j ∈ E ViVjE,若存在图 G ′ = ( V , E ′ ) G' = (V, E') G=(V,E) G G G 等价,且 V j → V i ∈ E ′ V_j \rightarrow V_i ∈ E' VjViE,则称有向边 V i → V j V_i \rightarrow V_j ViVj G G G 中是可逆的,否则是不可逆的。

同理, 对任意无向边 V i → V j ∈ E V_i \rightarrow V_j ∈ E ViVjE,若存在 G 1 = ( V , E 1 ) G_1 = (V, E_1) G1=(V,E1) G 2 = ( V , E 2 ) G_2 = (V, E_2) G2=(V,E2) 均与 G G G 等价,且 V i → V j ∈ E 1 V_i \rightarrow V_j ∈ E_1 ViVjE1 V j → V i ∈ E 2 V_j \rightarrow V_i ∈ E_2 VjViE2, 则 称 无 向边 V i → V j V_i \rightarrow V_j ViVj G G G 中是可逆的,否则是不可逆的。

CPDAG:设 G = ( V , E ) G = (V, E) G=(V,E) 是一个部分有向无环图,若 E E E 中的有向边都是不可逆的,并且 E E E 中的无向边都是可逆的,则称 G G G 是一个完全部分有向无环图(CPDAG)。

传统方法

算法过程参考文献 1,是经典的PC算法过程。

因果推理:PC算法_第1张图片

在文献2中对其skeleton估计进行重写,如下所示:
因果推理:PC算法_第2张图片

条件独立性优化

偏相关系数

指校正其它变量后某一变量与另一变量的相关关系,校正的意思可以理解为假定其它变量都取值为均数

服从高斯分布的随机变量,条件独立性与偏相关系数为0等价:

假设随机变量 X X X 服从多元高斯分布,对于 i ≠ j ∈ ( 1 , . . . , p ) , k ⊆ ( 1 , . . . , p ) /   ( i , j ) i \not =j∈(1, ..., p),k⊆(1, ..., p) /\ (i,j) i=j(1,...,p)k(1,...,p)/ (ij),用 ρ i , j ∣ k ρ_{i,j|k} ρijk 表示 X ( i ) X(i) X(i) X ( j ) X(j) X(j) X ( r ) ( r ∈ k ) X^{(r)} (r∈k) X(r)(rk) 之间的偏相关系数 。 当且仅当 X ( i ) X(i) X(i) X ( j ) X( j ) X(j) 条件独立与 X ( r ) ( r ∈ k ) X^{(r)} (r∈k) X(r)(rk) 时, ρ i , j ∣ k = 0 ρ_{i,j|k}=0 ρijk=0

∴ 条件独立性可由偏相关估计出来,条件独立性检验转偏相关系数检验。

任意两个变量 i , j i, j i,j h h h(排除其他 h h h个变量的影响后, h < = k − 2 h<=k-2 h<=k2)阶样本偏相关系数:

ρ i , j ∣ k = ρ i , j ∣ k \ h − ρ i , h ∣ k \ h ρ j , h ∣ k \ h ( 1 − ρ i , h ∣ k \ h 2 ) ( 1 − ρ j , h ∣ k \ h 2 ) \rho_{i, j \mid \mathbf{k}}=\frac{\rho_{i, j \mid \mathbf{k} \backslash h} - \rho_{i, h \mid \mathbf{k} \backslash h}\rho_{j,h \mid \mathbf{k} \backslash h}}{\sqrt{\left(1-\rho_{i, h \mid \mathbf{k} \backslash h}^{2}\right)\left(1-\rho_{j, h \mid \mathbf{k} \backslash h}^{2}\right)}} ρi,jk=(1ρi,hk\h2)(1ρj,hk\h2) ρi,jk\hρi,hk\hρj,hk\h

Fisher Z Test( ρ ≠ 0 ρ\not=0 ρ=0时的显著性检验)

ρ ≠ 0 ρ\not=0 ρ=0时不是正态分布,不能进行 t t t 检验。将 ρ \rho ρ 进行 Fisher Z 转换,转换后可以认为是正态分布。

Fisher’s z-transform:

Z ( i , j ∣ k ) = 1 2 log ⁡ ( 1 + ρ ^ i , j ∣ k 1 − ρ ^ i , j ∣ k ) Z(i, j \mid \mathbf{k})=\frac{1}{2} \log \left(\frac{1+\hat{\rho}_{i, j \mid \mathbf{k}}}{1-\hat{\rho}_{i, j \mid \mathbf{k}}}\right) Z(i,jk)=21log(1ρ^i,jk1+ρ^i,jk)
零假设: H 0 ( i , j ∣ k ) : ρ i , j ∣ k ≠ 0 H_0(i,j|k): ρ_{i,j|k} \not= 0 H0(i,jk):ρijk=0

对立假设: H 1 ( i , j ∣ k ) : ρ i , j ∣ k = 0 H_1(i,j|k): ρ_{i,j|k} = 0 H1(i,jk):ρijk=0

n − ∣ k ∣ − 3 ∣ Z ( i , j ∣ k ) > Φ − 1 ( 1 − α / 2 ) \sqrt{n-|k|-3}|Z(i,j|k)>Φ^{-1}(1-α/2) nk3 Z(i,jk)>Φ1(1α/2) H 0 H_0 H0成立。

∴ 用 n − ∣ k ∣ − 3 ∣ Z ( i , j ∣ k ) < = Φ − 1 ( 1 − α / 2 ) \sqrt{n-|k|-3}|Z(i,j|k)<=Φ^{-1}(1-α/2) nk3 Z(i,jk)<=Φ1(1α/2)替换 PC-Algorithm 中的“如果 i , j i,j i,j k k k d − s e p a r a t i o n d-separation dseparation

CPDAG

将 Skeleton 扩展为等价的CPDAG:
因果推理:PC算法_第3张图片

Python 实现

https://github.com/dreamhomes/RCADev-AIOps/blob/main/casual_graph/src/pc_casual_graph.py

参考


  1. Spirtes, Peter, and Clark Glymour. “An algorithm for fast recovery of sparse causal graphs.” Social science computer review 9.1 (1991): 62-72. ↩︎

  2. Kalisch, Markus, and Peter Bühlmann. “Estimating high-dimensional directed acyclic graphs with the PC-algorithm.” Journal of Machine Learning Research 8.Mar (2007): 613-636. ↩︎

你可能感兴趣的:(AIOps,PC,算法)