18 高斯网络

18 高斯网络

18.1 高斯网络介绍

概率图模型可以分成主要的几部分：

• Bayesian Network
• Markov Network
• Gaussian Network——连续性的概率图模型：
  • Gaussian Bayesian Network
  • Gaussian Markov Network

高斯网络的特点有：

1. 假设每个节点通过$x_i$表示图中的每个节点都服从高斯分布：$x_i\backsim N({\mu }_i,{\Sigma }_i)$。

2. 一张高斯图可以表示为$X=(x_1,x_2,\dots ,x_p{)}^T$​，并且图与高维高斯分布对应：
   $$p(x)=\frac{1}{(2\pi {)}^{\frac{p}{2}}{|\Sigma |}^{\frac{1}{2}}}\cdot \exp \{-\frac{1}{2}{(x-\mu )}^T{\Sigma }^{-1}(x-\mu )\}$$

3. 具有高斯分布的性质，已知$\Sigma =({\sigma }_{ij}{)}_{p\times p}$​：
   $$x_i\perp x_j⟺{\sigma }_{ij}=0$$

4. 具有图的性质——条件独立性$X_A\perp X_B|X_C$，定义精度矩阵$\Lambda ={\Sigma }^{-1}=({\lambda }_{ij}{)}_{p\times p}$（称为precision matrix/ information matrix），则条件独立性定义为：
   $$x_i\perp x_j{|}_{X-\{x_i,x_j\}}⟺{\lambda }_{ij}=0$$

18.2 Gaussian Bayesian Network——高斯有向图

高斯贝叶斯网络的案例——Kalman Filter：

• 链式的，特殊的GBN

• 和HMM相同，$\lambda =(\pi ,A,B)$，同时满足高斯：
  $$\{\begin{array}{l}{x}_t|x_{t-1}\backsim N(x_t|A{x}_{t-1}+B,Q)\\ y_t|x_t\backsim N(y_t|C{x}_t+D,R)\end{array}$$
  和线性：
  $$\{\begin{array}{l}{x}_t=A{x}_{t-1}+B+\epsilon ,\epsilon \backsim N(0,Q)\\ y_t=C{x}_t+D+\sigma ,\sigma \backsim N(0,R)\end{array}$$

GBN的因子分解：

• Bayesian Network的性质有一条因子分解：
  $$P(x)=\prod _{i=1}^{p}P(x_i|x_{pa(i)})$$

• GBN(global model)基于线性高斯模型(local model)：
  $$\{\begin{array}{l}P(x)=N(x|{\mu }_x,{\Sigma }_x)\\ p(y|x)=N(y|Ax+B,{\Sigma }_y)\end{array}$$

• 在$x_i$是一维的情况下，可以得到：
  $$\begin{array}{rl}& \{\begin{array}{l}P(x)={\prod }_{i=1}^{p}P(x_i|x_{pa(i)})\\ x_{pa(i)}={(x_1,x_2,\dots ,x_K)}^T\end{array}\\ ⟹& \{\begin{array}{l}{x}_i|x_{pa(i)}\backsim N(x_i|{\mu }_i+w_i^T{x}_{pa(i)},{\sigma }_i^2)\\ x_i-{\mu }_i={\sum }_{j\in x_{pa(i)}}{w}_{ij}(x_j-{\mu }_j)+{\sigma }_i{\epsilon }_i,{\epsilon }_i\backsim N(0,1)\end{array}\end{array}$$
  可以一看的出来$i,j$之间有线性关系，实际上是线性高斯模型。化成$x_i-{\mu }_i$的形式是为了简化运算，因为这样等同于将Gaussian Disk平移到了原点。

18.3 Gaussian Markov Network——高斯无向图

高斯马尔可夫网络的因子分解：

• 目前有什么条件呢：
  $$\{\begin{array}{l}p(x)=\frac{1}{(2\pi {)}^{\frac{p}{2}}{|\Sigma |}^{\frac{1}{2}}}\cdot \exp \{-\frac{1}{2}{(x-\mu )}^T{\Sigma }^{-1}(x-\mu )\}\\ p(x)=\frac{1}{Z}{\prod }_{i=1}^p\underset{\text{node potential}}{{\phi }_i(x_i)}\cdot {\prod }_{i,j\in x}\underset{\text{edge potential}}{{\phi }_{i,j}(x_i,x_j)}\end{array}$$

• 我们的目的是将他们结合起来，我们来看一下上面的公式有什么性质（已知$x=(x_1,x_2,\dots ,x_p{)}^T,\Lambda ={\Sigma }^{-1}={({\lambda }_{ij})}_{p\times p}$，且$\Sigma$为对称矩阵）：
  $$\begin{array}{rl}p(x)& \propto \exp \{-\frac{1}{2}{(x-\mu )}^T{\Sigma }^{-1}(x-\mu )\}\\ & =\exp \{-\frac{1}{2}(x^T\Lambda x-\underset{1\times 1}{x^T\Lambda \mu }-\underset{1\times 1}{{\mu }^T\Lambda x}+{\mu }^T\Lambda \mu )\}\\ & =\exp \{-\frac{1}{2}(x^T\Lambda x-2{\mu }^T\Lambda x+\underset{与x无关}{{\mu }^T\Lambda \mu })\}\\ & \propto \exp \{\underset{二次项}{-\frac{1}{2}{x}^T\Lambda x}-\underset{一次项}{{(\Lambda \mu )}^{T}x}\}\end{array}$$
  其中我们将$\Lambda$称为precisian matrix，$\Lambda \mu$称为potential vector，且假设$\Lambda \mu =h={(h_1,h_2,\dots ,h_p)}^T$：

• 我们在Markov Network中的node potential与$x_i$相关，edge potential与$x_i,x_j$相关，所以从上文中可以发现在Gaussian中势函数所表示的东西：
  与$x_i$相关（有$x$的项都可以）：
  $$x_i:-\frac{1}{2}{x}_i^2{\lambda }_{ii}-h_i{x}_i$$
  与$x_i,x_j$​​相关（必须是二次项，且要考虑两种顺序）：
  $$x_i,x_j:-\frac{1}{2}({\lambda }_{ij}{x}_i{x}_j+{\lambda }_{ji}{x}_j{x}_i)=-{\lambda }_{ij}{x}_i{x}_j$$

总结一下GMN的性质：

1. 在Gaussian中——绝对独立（marginal independent）：
   $$x_i\perp x_j,\Sigma =({\sigma }_{ij})⟺{\sigma }_{ij}=0$$

2. 在上文中得出的条件独立——条件独立：
   $${x_i\perp x_j|}_{-\{x_i,x_j\}},\Lambda ={\Sigma }^{-1}=({\lambda }_{ij})⟺{\lambda }_{ij}=0$$

3. 在任意无向图中：
   $$\forall x_i,\underset{条件概率分布}{{x_i|}_{-\{x_i\}}}\backsim N(\sum _{j\ne i}\frac{{\lambda }_{ij}}{{\lambda }_{ii}}{x}_j,{\lambda }_{ii}^{-1})$$
   可以发现$x_i$可以看作与之相连的$x_j$的线性组合