Message Passing, Belief propagation

1.问题描述

给定一个联合分布$P_{X_1{X}_2...X_n}$， 我们希望计算边缘分布$P_{X_i}=\prod _{x_j:j\ne i}{P}_{X_1{X}_2...X_n}(x_1{x}_2...)$，显然这是指数复杂度$O(|\mathcal{X}{|}^{n-1})$， 求解困难。

对于这样一类分布
$$P_{X_1{X}_2...X_n}=P_{X_{S_1}}{P}_{X_{S_2}}...P_{X_{S_k}}$$
其中$S_i\subset \{1,2,...,n\},|S_i|<<n,S_i\cap S_j\ne \varnothing$, 可以采用message passing来计算边缘分布。