机器学习笔记之概率图模型(七)精确推断之变量消去法

引言

上一节介绍了推断的本质以及推断的具体方法。本节将介绍精确推断方法中的变量消去法(Variable Elimination,VE)

回顾：推断的具体任务

推断(Inference)的任务本质上是求解变量或变量集合的概率结果。
已知样本集合$\mathcal{X}$中的样本包含$p$个特征。给定联合概率分布$\mathcal{P}(\mathcal{X})=\mathcal{P}(x_1,x_2,\cdots ,x_p)$条件下：

• 某变量$x_i\in \{x_1,\cdots ,x_p\}$的边缘概率分布 可表示为：
  概率的加法(积分)运算。
  $$\mathcal{P}(x_i)=\sum _{x_1}\cdots \sum _{x_{i-1}}\sum _{x_{i+1}}\cdots \sum _{x_p}\mathcal{P}(x_1,\cdots ,x_p)$$
• 假设特征集合$\mathcal{X}$被划分为两个子集合$x_{\mathcal{A}},x_{\mathcal{B}}$，求解集合$x_{\mathcal{A}}$的$x_{\mathcal{B}}$条件下的概率分布 ：
  $$\mathcal{X}=x_{\mathcal{A}}\cup x_{\mathcal{B}}\to \mathcal{P}(x_{\mathcal{A}}\mid x_{\mathcal{B}})$$
• 最大后验概率推断(MAP Inference)：$x_{\mathcal{A}}$集合的概率最优解$\widehat{x_{\mathcal{A}}}$与 条件概率$\mathcal{P}(x_{\mathcal{A}}\mid x_{\mathcal{B}})$和联合概率分布$\mathcal{P}(x_{\mathcal{A}},x_{\mathcal{B}})$之间的关系：
  例如：隐马尔科夫模型中的‘解码问题’ -> Viterbi算法。
  $$\widehat{x_{\mathcal{A}}}=\underset{x_{\mathcal{A}}}{\mathrm{argmax}}\mathcal{P}(x_{\mathcal{A}}\mid x_{\mathcal{B}})\propto \underset{x_{\mathcal{A}}}{\mathrm{argmax}}\mathcal{P}(x_{\mathcal{A}},x_{\mathcal{B}})$$

变量消去法

变量消去法是精确推断中最简单的推断方法，从名字中可以看出，该方法目的是消除条件中各种无关变量。

基于有向图的变量消去法

示例：已知一个简单概率图表示如下：

任务：求解节点$i_4$的概率分布$\mathcal{P}(i_4)$。

• 根据概率的加法(积分)公式，使用联合概率分布$\mathcal{P}(i_1,i_2,i_3,i_4)$对$\mathcal{P}(i_4)$进行表示：
  $$\mathcal{P}(i_4)=\sum _{i_1,i_2,i_3}\mathcal{P}(i_1,i_2,i_3,i_4)$$

• 由于该图是有向图，因此直接使用贝叶斯网络的因子分解 对联合概率分布进行表示：
  这里定义变量$i_1,i_2,i_3,i_4$均是‘离散型随机变量’。
  $$\begin{array}{rl}\mathcal{P}(i_1,i_2,i_3,i_4)& =\prod _{k=1}^p\mathcal{P}(i_k\mid i_{pa(k)})\\ & =\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\end{array}$$
  最终，结点$i_4$的概率分布可表示为：
  $$\mathcal{P}(i_4)=\sum _{i_1,i_2,i_3}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)$$

• 如果直接对$\mathcal{P}(i_4)$进行求解，需要将上式展开。这里为简化运算，定义变量$i_1,i_2,i_3,i_4$均服从伯努利分布：
  $$i_1,i_2,i_3,i_4\in \{0,1\}$$
  展开结果表示如下：
  注意：这里只对$i_1,i_2,i_3$进行积分，因此只有$2^3=8$项。
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\sum _{i_1,i_2,i_3}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\\ & =\mathcal{P}(i_1=0)\cdot \mathcal{P}(i_2=0\mid i_1=0)\cdot \mathcal{P}(i_3=0\mid i_2=0)\cdot \mathcal{P}(i_4\mid i_3=0)+\cdots +\\ & \mathcal{P}(i_1=1)\cdot \mathcal{P}(i_2=1\mid i_1=1)\cdot \mathcal{P}(i_3=1\mid i_2=1)\cdot \mathcal{P}(i_4\mid i_3=1)\end{array}$$
  观察该结果，我们发现如下问题：
  观察概率加法公式中的项数，即便是最简单的顺序结构，并且各变量均是最简单的伯努利分布，单每增加一个节点，项数依然会指数倍地增长。
  很明显，真实情况中，概率图的结构只会更加复杂。因此，该算法的复杂度不小于${\mathcal{K}}^p$。
  其中$\mathcal{K}$表示基于节点分布的综合结果，可能每个节点的分布各不相同；$p$表示节点个数。

• 变量消除法的思想是：在图结构中，和某节点相关联的节点数量是有限的。在积分过程中，只将相关联的节点进行积分运算，不相关的节点，对应的因子直接视为常数即可。

  继续观察$\mathcal{P}(i_4)$的因子分解：
  $$\mathcal{P}(i_4)=\sum _{i_1,i_2,i_3}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)$$
  上述4项因子结果中，和结点$i_1$无关的项有：$\mathcal{P}(i_3\mid i_2),\mathcal{P}(i_4\mid i_3)$。
  将因子分解表示为如下形式：
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\sum _{i_2,i_3}\mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot \sum _{i_1}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\end{array}$$
  观察后项${\sum }_{i_1}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)$可表示如下：
  ‘概率密度积分’
  $$\begin{array}{r}\sum _{i_1}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)=\sum _{i_1}\mathcal{P}(i_1,i_2)={\mathcal{P}}_{i_1}(i_2)\end{array}$$
  这里将上述积分结果定义一个符号：${\mathcal{P}}_{i_1}(i_2)$，表示 $i_2$的边缘概率${\mathcal{P}}_{i_1}(i_2)$是通过对$i_1$进行积分得到的结果。
  因此，$\mathcal{P}(i_4)$可表示如下：
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\sum _{i_2,i_3}\mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot {\mathcal{P}}_{i_1}(i_2)\\ & =\sum _{i_3}\mathcal{P}(i_4\mid i_3)\cdot \sum _{i_2}\mathcal{P}(i_3\mid i_2)\cdot {\mathcal{P}}_{i_1}(i_2)\end{array}$$
  变量消除法的核心：继续观察后项：${\sum }_{i_2}\mathcal{P}(i_3\mid i_2)\cdot {\mathcal{P}}_{i_1}(i_2)$，和上面的化简相同，可以继续使用概率密度积分 对该式进行化简：
  $$\sum _{i_2}\mathcal{P}(i_3\mid i_2)\cdot {\mathcal{P}}_{i_1}(i_2)=\sum _{i_2}\mathcal{P}(i_2,i_3)={\mathcal{P}}_{i_2}(i_3)$$
  注意：这里$i_2$的边缘概率${\mathcal{P}}_{i_1}(i_2)$是子集合$\{i_1,i_2\}$中的边缘概率。也就是说，$i_2$的边缘概率并没有对其他节点进行积分。但是结果是'完全相同'的。是因为在上述示例概率图中，只有结点$i_1$指向了$i_2$,其他节点与$i_2$的边缘概率无关。即：$${\mathcal{P}}_{i_1}(i_2)=\sum _{i_1}\mathcal{P}(i_1,i_2)=\sum _{i_1,i_3,i_4}\mathcal{P}(i_1,i_2,i_3,i_4)=\mathcal{P}(i_2)$$
  同理，最终可以将$\mathcal{P}(i_4)$化简为：
  $$\mathcal{P}(i_4)=\sum _{i_3}\mathcal{P}(i_4\mid i_3)\cdot {\mathcal{P}}_{i_2}(i_3)={\mathcal{P}}_{i_3}(i_4)$$

• 将变量消去法与因子分解方法进行对比：
  $$\{\begin{array}{l}\mathcal{P}(i_4)={\sum }_{i_1,i_2,i_3}\mathcal{P}(i_1)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\\ \mathcal{P}(i_4)={\sum }_{i_3}\mathcal{P}(i_4\mid i_3)\cdot {\sum }_{i_2}\mathcal{P}(i_3\mid i_2)\cdot {\sum }_{i_1}\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_1)\end{array}$$
  发现变量消去法每次将求积和求和的运算限制在局部范围内，仅和部分变量相关，从而简化运算。
  从运算过程角度，即‘乘法对加法的分配律’。

基于无向图的变量消去法

变量消去法并不是仅基于贝叶斯网络(有向图)，马尔可夫随机场(无向图)同样可以使用该方法进行运算。不同于有向图节点之间显式的因果关系，无向图可以通过势函数来描述节点之间的关联关系：

某无向图模型表示如下：

目标：求解结点$i_4$的边缘概率结果$\mathcal{P}(i_4)$。

• 首先观察该无向图中包含$3$个极大团：
  • $\{i_0,i_1\}$
  • $\{i_1,i_2,i_3\}$
  • $\{i_3,i_4\}$
• 基于极大团，使用势函数对无向图的联合概率分布$\mathcal{P}(i_0,i_1,i_2,i_3,i_4)$表示如下：
  $$\mathcal{P}(i_0,i_1,i_2,i_3,i_4)=\frac{1}{\mathcal{Z}}{\psi }_{01}(i_0,i_1)\cdot {\psi }_{123}(i_1,i_2,i_3)\cdot {\psi }_{34}(i_3,i_4)$$
• 从而$\mathcal{P}(i_4)$表示如下：
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\sum _{i_0,\cdots ,i_3}\mathcal{P}(i_0,i_1,i_2,i_3,i_4)\\ & =\frac{1}{\mathcal{Z}}\sum _{i-0,\cdots ,i_3}{\psi }_{01}(i_0,i_1)\cdot {\psi }_{123}(i_1,i_2,i_3)\cdot {\psi }_{34}(i_3,i_4)\end{array}$$
• 使用变量消去法，从某一变量开始，沿着无向图的路径对变量进行依次消去：
  与贝叶斯网络相对应，定义${\sum }_{i_0}{\psi }_{01}(i_0,i_1)$对$i_0$积分后的函数结果，其结果是关于$i_1$的函数，记作$m_{01}(i_1)$，其他变量同理。
  由于最大团$\{i_1,i_2,i_3\}$包含3个变量，因此可以‘依次进行积分’(个人理解)。
公式中出现的$m_{1\to 23}(i_2,i_3)$表示将$i_1$积分掉后，关于变量$i_2,i_3$的函数。
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\frac{1}{\mathcal{Z}}\sum _{i_1,i_2,i_3}{\psi }_{123}(i_1,i_2,i_3)\cdot {\psi }_{34}(i_3,i_4)\cdot \sum _{i_0}{\psi }_{01}(i_0,i_1)\\ & =\frac{1}{\mathcal{Z}}\sum _{i_2,i_3}{\psi }_{34}(i_3,i_4)\cdot \sum _{i_1}{\psi }_{123}(i_1,i_2,i_3)\cdot m_{01}(i_1)\\ & =\frac{1}{\mathcal{Z}}\sum _{i_3}{\psi }_{34}(i_3,i_4)\cdot \sum _{i_2}{m}_{1\to 23}(i_2,i_3)\\ & =\frac{1}{\mathcal{Z}}\sum _{i_3}{\psi }_{34}(i_3,i_4)\cdot m_{23}(i_3)\\ & =\frac{1}{\mathcal{Z}}{m}_{34}(i_4)\end{array}$$

变量消去法的弊端

上述基于无向图的变量消去法，其变量的消去顺序为：$i_0,i_1,i_2,i_3$，但在真实情况中，使用变量消去法，并非只有一种消去顺序。

例如贝叶斯网络，我们通常使用拓扑排序的方式选择消去顺序；由于图中 入度为零的变量节点 可能不止一个，并且拓扑排序过程中路径并非只有一条。因此理论上可以有多种顺序对变量节点进行消除；

那么若干种消除顺序，总会存在代价最小的一条，但是想要找到这条代价最小的顺序，这个行为本身的代价是极高的。会涉及 NP-Hard问题：如果想要找到代价最小的顺序，最坏情况下需要对每一个路径进行遍历，这个代价是极高的。

假设需要计算多个节点变量的边缘概率，如上图中，求解完$\mathcal{P}(i_4)$后又需要求$\mathcal{P}(i_3)$，则需要执行 $\{i_0,i_1,i_2\}$ 的顺序重头计算，这种操作的计算资源消耗是极高的。

关于复杂贝叶斯网络变量消去法的遗留问题

已知贝叶斯网络描述如下：

很明显，这是一个有向无环图，任务目标依旧是求解变量节点$i_4$的边缘概率分布$\mathcal{P}(i_4)$：

• 首先，该图的因子分解表示如下：
  $$\begin{array}{rl}\mathcal{P}(i_0,i_1,i_2,i_3,i_4)& =\prod _{i=0}^4\mathcal{P}(i_k\mid i_{pa(k)})\\ & =\mathcal{P}(i_0)\cdot \mathcal{P}(i_1\mid i_0)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_1,i_2)\cdot \mathcal{P}(i_4\mid i_3)\end{array}$$
  因而，$\mathcal{P}(i_4)$表示如下：
  $$\mathcal{P}(i_4)=\sum _{i_0,i_1,i_2,i_3}\mathcal{P}(i_0,i_1,i_2,i_3,i_4)=\sum _{i_0,i_1,i_2,i_3}\mathcal{P}(i_0)\cdot \mathcal{P}(i_1\mid i_0)\cdot \mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_1,i_2)\cdot \mathcal{P}(i_4\mid i_3)$$

• 第一步：消去变量$i_0$：
  该步骤没有疑问，正常消除；
  $$\begin{gathered} {\mathcal{P}}_{i_0}(i_1)=\sum _{i_0}\mathcal{P}(i_0)\cdot \mathcal{P}(i_1\mid i_0) \\ \mathcal{P}(i_4)=\sum _{i_1,i_2,i_3}\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_1,i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot {\mathcal{P}}_{i_0}(i_1) \end{gathered}$$

• 第二步：消去变量$i_1$：
  仔细观察该部分：
  

  • 从$i_1$的角度观察，$i_1$和$i_2.i_3$之间属于同父结构。即：
    $$\mathcal{P}(i_2,i_3\mid i_1)=\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_1)$$
  • 从$i_3$的角度观察，$i_3$和$i_1,i_2$之间是$\mathcal{V}$型结构。即：
    $$\mathcal{P}(i_3\mid i_1,i_2)=\mathcal{P}(i_3\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)$$
  • 从$i_2$的角度观察，$i_2$和$i_1,i_3$之间是顺序结构。即：
    $$\mathcal{P}(i_1,i_3\mid i_2)=\mathcal{P}(i_1\mid i_2)\cdot \mathcal{P}(i_3\mid i_2)$$

  在消去$i_1$的过程中，与$i_1$相关的项有：$\mathcal{P}(i_3\mid i_1,i_2),\mathcal{P}(i_2\mid i_1),{\mathcal{P}}_{i_0}(i_1)$，基于$\mathcal{V}$型结构，将$\mathcal{P}(i_3\mid i_1,i_2)$展开，并保留含$i_1$的项：
  $i_3$未知的条件下，$i_1\perp i_2\mid i_3\to \mathcal{P}(i_3\mid i_1,i_2)=\mathcal{P}(i_3\mid i_1)\cdot \mathcal{P}(i_3\mid i_2)$。
  $$\mathcal{P}(i_4)=\sum _{i_2,i_3}\mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot \sum _{i_1}\mathcal{P}(i_2\mid i_1)\cdot \mathcal{P}(i_3\mid i_1)\cdot {\mathcal{P}}_{i_0}(i_1)$$
  先观察后半部分的 $i_1$积分项，由于同父结构，可以将$i_1$积分项表示为如下形式：
  $$\begin{gathered} \sum _{i_1}\mathcal{P}(i_2,i_3\mid i_1)\cdot {\mathcal{P}}_{i_0}(i_1)={\mathcal{P}}_{i_1}(i_2,i_3) \\ \mathcal{P}(i_4)=\sum _{i_2,i_3}\mathcal{P}(i_3\mid i_2)\cdot \mathcal{P}(i_4\mid i_3)\cdot {\mathcal{P}}_{i_1}(i_2,i_3) \end{gathered}$$
  问题所在：观察前半部分的 $i_2,i_3$积分项，基于前面的${\mathcal{P}}_{i_1}(i_2,i_3)$，我们更希望凑出$\mathcal{P}(i_4\mid i_2,i_3)$，从而得到：
  $$\begin{array}{rl}\mathcal{P}(i_4)& =\sum _{i_2,i_3}\mathcal{P}(i_4\mid i_2,i_3)\cdot {\mathcal{P}}_{i_1}(i_2,i_3)\\ & ={\mathcal{P}}_{i_2,i_3}(i_4)\end{array}$$
  但实际上，并没有办法证明：
  $$\mathcal{P}(i_4\mid i_2,i_3)=\mathcal{P}(i_4\mid i_3)\cdot \mathcal{P}(i_3\mid i_2)$$
  欢迎小伙伴们一起讨论。指出错误，有正确的推导一起分享，非常感谢。

下一节将介绍信念传播(Belief Propagation,BP)。

相关参考：
机器学习-周志华著
机器学习-概率图模型8-推断Inference-Variable Elimination