【机器学习】贝叶斯分类器【下】

主要来自周志华《机器学习》一书和博主nebulaf91的原创博客，包含自己的理解。
有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

由于字数限制，分成两篇博客。
【机器学习】贝叶斯分类器【上】
【机器学习】贝叶斯分类器【下】

6 半朴素贝叶斯分类器

为了降低贝叶斯公式 $(8)$ 中估计后验概率 $P(c|xx)$ 的困难，朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立。于是，人们尝试对属性条件独立性假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器”（semi-naive Bayes classifiers）的学习方法。

半朴素贝叶斯分类器的基本想法是适当考虑一部分属性间的相互依赖信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”（One-Dependent Estimator，简称 ODE）是半朴素贝叶斯分类器最常用的一种策略。顾名思议，所谓“独依赖”就是假设每个属性在类别之外最多仅依赖于一个其他属性，即
$$P(c|xx)\propto P(c)\prod _{i=1}^{d}P(x_i|c,p{a}_i)\text{\hspace{1em}(21)}$$
其中 $p{a}_i$ 为属性 $x_i$ 所依赖的属性，称为 $x_i$ 的父属性。此时，对每个属性 $x_i$，若其父属性 $p{a}_i$ 已知，则可采用类似式 $(20)$ 的办法来估计概率值 $P(x_i|c,p{a}_i)$ 。

基于式 $(6)$ 的贝叶斯判定准则有
$$h_{sb}=\underset{c\in \mathcal{Y}}{argmax}P(c)\prod _{i=1}^{d}P(x_i|c,p{a}_i)\text{\hspace{1em}(22)}$$
这就是采用 ODE 策略的半朴素贝叶斯分类器的表达式。

于是，问题的关键就转化为如何确定每个属性的父属性，不同的做法产生不同的独依赖分类器。

最直接的做法是假设所有属性都依赖于同一个属性，称为“超父”（super-parent），然后通过交叉验证等模型选择方法来确定超父属性，由此形成了SPODE （Super-Parent ODE）方法。例如，在图 $5(\mathrm{b})$ 中，$x_1$ 是超父属性。

图 5    朴素贝叶斯与两种半朴素贝叶斯分类器所考虑的属性依赖关系

TAN（Tree Augmented naive Bayes）则是在最大带权生成树（maximum weighted spanning tree）算法的基础上，通过以下步骤将属性间依赖关系约简为如图 $5(\mathrm{c})$ 所示的树形结构：

最大生成树算法与最小生成树算法原理一致，实现中只是优先考虑最小权重的边。

常见的最大生成树算法为 Kruskal 算法和 Prim 算法。

$(1)$ 计算任意两个属性之间的条件互信息（conditional mutual information）
$$I(x_i,x_j|y)=\sum _{x_i,x_j;c\in \mathcal{Y}}P(x_i,x_j|c)\log \frac{P(x_i,x_j|c)}{P(x_i|c)P(x_j|c)}\text{\hspace{1em}(23)}$$

互信息有两种定义方式，先看式 $(23)$ 中用到的定义。两个离散随机变量 $X$ 和 $Y$ 的互信息定义为
$$I(X,Y)=\sum _{x\in X}\sum _{y\in Y}P(x,y)\log \frac{P(x,y)}{P(x)P(y)}\text{\hspace{1em}(24)}$$
其中 $P(x,y)$ 是 $X$ 和 $Y$ 的联合概率分布函数，而 $P(x)$ 和 $P(y)$ 分别是 $X$ 和 $Y$ 的边缘概率分布函数。

在连续随机变量的情形下，求和被替换成了二重定积分：
$$I(X,Y)={\int }_X{\int }_{Y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\text{\hspace{1em}(25)}$$
其中 $p(x,y)$ 是 $X$ 和 $Y$ 的联合概率密度函数，而 $p(x)$ 和 $p(y)$ 分别是 $X$ 和 $Y$ 的边缘概率密度函数。

互信息是信息论中用以评价两个随机变量之间的依赖程度的一个度量。可以通俗地理解为，度量了解其中一个随机变量时，对另一个变量的掌握程度。例如，如果 $X$ 和 $Y$ 相互独立，则知道 $X$ 不对 $Y$ 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 $X$ 是 $Y$ 的一个确定性函数，且 $Y$ 也是 $X$ 的一个确定性函数，那么传递的所有信息被 $X$ 和 $Y$ 共享：知道 $X$ 决定 $Y$ 的值，反之亦然。因此，在此情形互信息与 $Y$（或 $X$）单独包含的不确定度相同，称作 $Y$（或 $X$）的熵。而且，这个互信息与 $X$ 的熵和 $Y$ 的熵相同。（这种情形的一个非常特殊的情况是当 $X$ 和 $Y$ 为相同随机变量时）

互信息是 $X$ 和 $Y$ 联合分布相对于假定 $X$ 和 $Y$ 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性：$I(X,Y)=0$ 当且仅当 $X$ 和 $Y$ 为独立随机变量。从一个方向很容易看出：当 $X$ 和 $Y$ 独立时，$P(x,y)=P(x)P(y)$，因此
$$\log \frac{P(x,y)}{P(x)P(y)}=\log 1=0$$
并且互信息是非负（$I(X,Y)\ge 0$）且对称的（$I(X,Y)=I(Y,X)$）。

信息论中的互信息可以以熵的形式定义：

根据熵的连锁规则，有
$$H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y)\text{\hspace{1em}(26)}$$
因此，
$$H(X)-H(X\mid Y)=H(Y)-H(Y\mid X)\text{\hspace{1em}(27)}$$
这个差叫做 $X$ 和 $Y$ 的互信息，记作 $I(X,Y)$ 。

按照熵的定义展开可以得到：
$$\begin{array}{rl}I(X,Y)& =H(X)-H(X\mid Y)\\ & =H(X)+H(Y)-H(X,Y)\\ & =\sum _{x}p(x)\log \frac{1}{p(x)}+\sum _{y}p(y)\log \frac{1}{p(y)}-\sum _{x,y}p(x,y)\log \frac{1}{p(x,y)}\\ & =\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\end{array}$$
如此便将信息论中的互信息与概率论中的互信息统一起来了。

$I(X;Y)$ 与 $I(X,Y)$ 只是互信息不同的符号表示。

简单提一下，相关系数（Pearson correlation coefficients）（皮尔逊相关系数是最常见的，这里只涉及皮尔逊相关系数）与互信息的区别。

相关系数主要用于判断两个随机变量是否线性相关，而互信息可以判断随机变量相关性（线性/非线性）的强弱。不讲述详细区别。

$(2)$ 以属性为结点构建完全图，任意两个结点之间边的权重设为 $I(x_i,x_j|y)$；

$(3)$ 构建此完全图的最大带权生成树，挑选根变量,将边置为有向；

$(4)$ 加入类别结点 $y$，增加从 $y$ 到每个属性的有向边。

容易看出，条件互信息 $I(x_i,x_j|y)$ 刻画了属性 $x_i$ 和 $x_j$，在已知类别情况下的相关性，因此，通过最大生成树算法，TAN 实际上仅保留了强相关属性之间的依赖性。

AODE（Averaged One-Dependent Estimator）是一种基于集成学习机制、更为强大的独依赖分类器。与 SPODE 通过模型选择确定超父属性不同，AODE 尝试将每个属性作为超父来构建 SPODE，然后将那些具有足够训练数据支撑的 SPODE 集成起来作为最终结果，即
$$P(c|xx)\propto \underset{|D_{x_i}|\ge m^{\prime }}{\sum _{i=1}^d}P(c,x_i)\prod _{j=1}^{d}P(x_j|c,x_i)\text{\hspace{1em}(28)}$$

基于式 $(6)$ 的贝叶斯判定准则有
$$h_{sb}=\underset{c\in \mathcal{Y}}{argmax}\underset{|D_{x_i}|\ge m^{\prime }}{\sum _{i=1}^d}P(c,x_i)\prod _{j=1}^{d}P(x_j|c,x_i)\text{\hspace{1em}(29)}$$
这就是采用 AODE 策略的半朴素贝叶斯分类器的表达式。

其中 $D_{x_i}$ 是在第 $i$ 个属性上取值为 $x_i$ 的样本的集合，$m^{\prime }$ 为阈值常数，默认 $30$ 。显然，AODE 需估计 $P(c,x_i)$ 和 $P(x_j|c,x_i)$ 。类似式 $(20)$，有
$$\begin{gathered} \hat{P}(c,x_i)=\frac{|D_{c,x_i}|+1}{|D|+N_i} \\ \text{\hspace{1em}(30)} \end{gathered}$$

$$\begin{gathered} \hat{P}(x_j|c,x_i)=\frac{|D_{c,x_i,x_j}|+1}{|D_{c,x_i}|+N_j} \\ \text{\hspace{1em}(31)} \end{gathered}$$

其中 $N$ 是第 $i$ 个属性可能的取值数，$D_{c,x_i}$ 是类别为 $c$ 且在第 $i$ 个属性上取值为 $x$ 的样本集合，$D_{c,x_i,x_j}$ 是类别为 $c$ 且在第 $i$ 和第 $j$ 个属性上取值分别为 $x_i$ 和 $x_j$ 的样本集合。例如，对表 $1$ 西瓜数据集有
$$\begin{gathered} {\hat{P}}_{是,浊响}=\hat{P}(好瓜=是,敲声=浊响)=\frac{6+1}{17+3}=0.350 \\ {\hat{P}}_{凹陷|是,浊响}=\hat{P}(脐部=凹陷|好瓜=是,敲声=浊响)=\frac{3+1}{6+3}=0.444 \end{gathered}$$
不难看出，与朴素贝叶斯分类器类似，AODE 的训练过程也是“计数”，即在训练数据集上对符合条件的样本进行计数的过程。与朴素贝叶斯分类器相似，AODE 无需模型选择，既能通过预计算节省预测时间，也能采取懒惰学习方式在预测时再进行计数，并且易于实现增量学习。

既然将属性条件独立性假设放松为独依赖假设可能获得泛化性能的提升，那么，能否通过考虑属性间的高阶依赖来进一步提升泛化性能呢？也就是说，将式 $(28)$ 中的属性 $p{a}_i$ 替换为包含 $k$ 个属性的集合 ${\mathrm{pa}\mathrm{pa}}_i$;，从而将 ODE 拓展为 kDE 。需注意的是，随着 $k$ 的增加，准确估计概率 $P(x_i|y,{\mathrm{pa}\mathrm{pa}}_i)$ 所需的训练样本数量将以指数级增加。因此，若训练数据非常充分，泛化性能有可能提升；但在有限样本条件下，则又陷入估计高阶联合概率的泥沼。

“高阶依赖”即对多个属性依赖。

7 贝叶斯网

贝叶斯网（Bayesian network）亦称“信念网”（belief network），它借助有向无环图（Directed Acyclic Graph，简称 DAG）来刻画属性之间的依赖关系，并使用条件概率表（Conditional Probability Table，简称 CPT）来描述属性的联合概率分布。

概率图模型（probabilistic graphical model）是一类用图来表达变量相关关系的概率模型。它以图为表达工具，最常见的是用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即“变量关系图”。根据边的性质不同，概率图模型可以大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；第二类是使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网（Markov network）。

为了简化讨论，本节假定所有属性均为离散型。对于连续属性，条件概率表可推广为条件概率密度函数。

具体来说，一个贝叶斯网 $B$ 由结构 $G$ 和参数 $\Theta$ 两部分构成，即 $B=⟨G,\Theta ⟩$ 。网络结构 $G$ 是一个有向无环图，其每个结点对应于一个属性，若两个属性有直接依赖关系，则它们由一条边连接起来；参数 $\Theta$ 定量描述这种依赖关系，假设属性 $x_i$ 在 $G$ 中的父结点集为 ${\pi }_i$，则 $\Theta$ 包含了每个属性的条件概率表 ${\theta }_{x_i|{\pi }_i}=P_B(x_i|{\pi }_i)$ 。

图 6    西瓜问题的一种贝叶斯网结构以及属性“根蒂”的条件概率表

作为一个例子，图 $6$ 给出了西瓜问题的一种贝叶斯网结构和属性“根蒂”的条件概率表。从图中网络结构可看出，“色泽”直接依赖于“好瓜”和“甜度”，而“根蒂”则直接依赖于“甜度”；进一步从条件概率表能得到“根蒂”对“甜度”量化依赖关系，如 $P(根蒂=硬挺|甜度=高)=0.1$ 等。

提出贝叶斯网的原因：

首先，半朴素贝叶斯对属性关系的限制还是太强，而贝叶斯网进一步降低了约束程度，因此表达能力更强；

另外，理论上，进行概率推理所需要的只是一个联合概率分布。但是联合概率分布的复杂度相对于变量个数成指数增长，所以当变量众多时不可行。贝叶斯网的提出就是要解决这个问题。它把复杂的联合概率分布分解成一系列相对简单的模块，从而大大降低知识获取和概率推理的复杂度，使得可以把概率论应用于大型问题。

可以理解为贝叶斯网的假设使得联合概率分布计算更加容易，图结构只是为了方便直观上理解而产生的一种表现形式。

7.1 结构

贝叶斯网结构有效地表达了属性间的条件独立性。给定父结点集，贝叶斯网假设每个子结点表示的属性与它的非后裔属性独立，于是 $B=⟨G,\Theta ⟩$ 将属性 $x_1,x_2,...,x_d$ 的联合概率分布定义为
$$P_B(x_1,x_2,...,x_d)=\prod _{i=1}^d{P}_B(x_i|{\pi }_i)=\prod _{i=1}^d{\theta }_{x_i|{\pi }_i}\text{\hspace{1em}(32)}$$

有关贝叶斯网的假设，周志华编著的《机器学习》中描述有些歧义，所以我将其修改成”给定父结点集，贝叶斯网假设每个子结点表示的属性与它的非后裔属性独立“。这样就可以解释后面提到的”三个变量之间的典型依赖关系“中并不存在与假设相矛盾的情况了。

以图 $6$ 为例，贝叶斯网络的联合概率分布定义为
$$P(x_1,x_2,x_3,x_4,x_5)=P(x_1)P(x_2)P(x_3|x_1)P(x_4|x_1,x_2)P(x_5|x_2)$$
根据链式规则（chain rule）联合概率分布定义为
$$P(x_1,x_2,x_3,x_4,x_5)=P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)P(x_4|x_1,x_2,x_3)P(x_5|x_1,x_2,x_3,x_4)$$
对应项相等，可知
$$\begin{array}{lcccc}①& & P(x_2)& =& P(x_2|x_1)\\ ②& & P(x_3|x_1)& =& P(x_3|x_1,x_2)\\ ③& & P(x_4|x_1,x_2)& =& P(x_4|x_1,x_2,x_3)\\ ④& & P(x_5|x_2)& =& P(x_5|x_1,x_2,x_3,x_4)\end{array}$$
根据 $P(A|B)=\frac{P(AB)}{P(B)}$ 可知 $P(x_2|x_1)=\frac{P(x_1,x_2)}{P(x_1)}$，因此 $①\iff P(x_1)P(x_2)=P(x_1,x_2)$， 说明 $x_1$ 和 $x_2$ 独立；类似地，$②\iff P(x_3|x_1)=\frac{P(x_2,x_3|x_1)}{P(x_2|x_1)}\iff P(x_3|x_1)P(x_2|x_1)=P(x_2,x_3|x_1)$，说明在给定 $x_1$ 的取值时，$x_2$ 和 $x_3$ 独立；当等式 $③$ 成立时，说明在给定 $x_1$ 和 $x_2$ 的取值时，$x_3$ 和 $x_4$ 独立；当等式 $④$ 成立时，说明在给定 $x_2$ 的取值时，$x_4$ 和 $x_5$ 独立。

未列举出所有边际独立和条件独立关系。

其中，像 $x_1$ 和 $x_2$ 之间的独立性被称为“边际独立”（marginal independence），记为 $x_1\perp x_2$；像 $x_4$ 和 $x_5$ 之间的独立性要在已知 $x_2$ 取值的情况下才能确定，这种独立性被称为“条件独立”（conditional independence），记为 $x_4\perp x_5|x_2$ 。

切勿认为”边际独立一定条件独立“。

直观上理解，「买到过期的面包」和「买到过期的牛奶」这两件事本身没有相关性，即边际独立；但引入已知条件「从同一个店铺里买面包和牛奶」，如果买到了过期面包，一定程度上说明这是个无良商家，那么买到的牛奶也很可能是过期的，即在引入条件后不独立。

这说明引入已知条件可能让两个本来独立的随机变量变得条件相关。

观察等式 $③$ 我们知道在给定 $x_1$ 和 $x_2$ 的取值时 $x_3$ 和 $x_4$ 独立，从贝叶斯网结构的假设出发，可以理解为「给定 $x_4$ 的父结点 $x_1$ 和 $x_2$ 的值，那么 $x_4$ 就会和它的其中一个非后裔结点 $x_3$ 独立」，这是完全没有问题的；但是从 $x_3$ 的视角理解，$x_3$ 的父结点只有 $x_1$，所以根据假设，只要给出 $x_1$ 的值就可以确定 $x_3$ 与 $x_4$ 独立。也就是说，如果从 $x_4$ 的视角理解，则需要已知 $x_1$ 和 $x_2$ 的值，但是从 $x_3$ 的视角理解，则只需要已知 $x_1$ 的值即可，这体现了直接通过“对应项相等”的方式来判断独立性是不严谨的，或者说并非最佳的。

贝叶斯图结构独立性判断方法：d-Separation

在无向模型中，识别图中的条件独立性是非常简单的。在这种情况下，图中隐含的条件独立性称为分离（separation）。如果图结构显示给定变量集 $\mathbb{S}$ 的情况下变量集 $\mathbb{A}$ 与变量集 $\mathbb{B}$无关，那么我们声称给定变量集 $\mathbb{S}$ 时，变量集 $\mathbb{A}$ 与另一组变量集 $\mathbb{B}$ 是分离的。如果连接两个变量 $a$ 和 $b$ 的连接路径仅涉及未观察变量，那么这些变量不是分离的。如果它们之间没有路径，或者所有路径都包含可观测的变量，那么它们是分离的。我们认为仅涉及未观察到的变量的路径是“活跃”（active paths）的，而包括可观察变量的路径称为“非活跃’（inactive paths）的。

当我们画图时，我们可以通过加阴影来表示观察到的变量。图 $7$ 用于描述当以这种方式绘图时无向模型中的活跃和非活跃路径的样子。图 $8$ 描述了一个从无向模型中读取分离信息的例子。

图 7    (a)图中随机变量a和随机变量b之间穿过s的路径是活跃的，因为s是观察不到的。这意味着a, b之间不是分离的。(b)图中s用阴影填充，表示它是可观察的。因为a和 b之间的唯一路径通过s，并且这条路径是不活跃的，我们可以得出结论，在给定s的条件下a和 b是分离的。

图 8    从一个无向图中读取分离性质的一个例子。这里b用阴影填充，表示它是可观察的。由于b挡住了从a到c的唯一路径，我们说在给定b的情况下a和c是相互分离的。观察值b同样挡住了从a到d的一条路径，但是它们之间有另一条活跃路径。因此给定b的情况下a和d不是分离的。

类似的概念适用于有向模型，只是在有向模型中，这些概念被称为d-分离（d-separation）。“d”代表“依赖”的意思。有向图中d-分离的定义与无向模型中分离的定义相同：如果图结构显示给定变量集 $\mathbb{S}$ 时，变量集 $\mathbb{A}$ 与变量集 $\mathbb{B}$ 无关，那么我们认为给定变量集 $\mathbb{S}$ 时，变量集 $\mathbb{A}$ d-分离于变量集 $\mathbb{B}$。

与无向模型一样，我们可以通过查看图中存在的活跃路径来检查图中隐含的独立性。如前所述，如果两个变量之间存在活跃路径，则两个变量是依赖的，如果没有活跃路径，则为d-分离。在有向网络中，确定路径是否活跃有点复杂。

尤其重要的是要记住分离和d-分离只能告诉我们图中隐含的条件独立性。图并不需要表示所有存在的独立性。

判断独立性的过程大致分成三步：

• 画出相关属性结点及其祖先结点构成的子图
• 将有向图转换为无向图
• 删除已知条件对应的属性结点

将有向图转化为无向图时，该无向图被称为道德图（moral graph）。将子图转换为道德图包括两个步骤：对于具有公共子结点的一对父结点，在它们之间绘制无向边，如果一个结点有两个以上的父结点，则在每对父结点之间画一条无向边；将有向边替换为无向边，即将有向图转换为无向图。

以图 $6$ 为例，判断 $x_1$ 和 $x_2$ 是否独立？即判断 $P(A)=P(A|B)?$ 或 $P(B)=P(B|A)?$

可以发现，按照上面三步绘制出的无向图中，$x_1$ 和 $x_2$ 之间没有边，所以 $x_1$ 和 $x_2$ 边际独立。

还是以图 $6$ 为例，判断在给定 $x_1$ 的取值时，$x_3$ 和 $x_4$ 是否条件独立？即判断 $P(x_3|x_1)=P(x_3|x_1,x_4)?$ 或 $P(x_4|x_1)=P(x_4|x_1,x_3)?$

上图完整地展示了三个步骤，最终发现 $x_3$ 和 $x_4$ 没有边相连，所以在给定 $x_1$ 的取值时，$x_3$ 和 $x_4$ 条件独立。

再举一个例子，如果存在图 $9$ 所示的贝叶斯网结构，判断下面几个独立性：

1. $D$ 和 $E$ 是否边际独立？
2. 在给定 $C$ 的情况下，$D$ 和 $E$ 是否条件独立？
3. $A$ 和 $D$ 是否边际独立？
4. 在给定 $C$ 的情况下，$A$ 和 $D$ 是否条件独立？
5. $A$ 和 $B$ 是否边际独立？
6. 在给定 $C$ 的情况下，$A$ 和 $B$ 是否条件独立？

依次解决上面的问题：

1. $D$ 和 $E$ 是否边际独立？

可见，$D$ 和 $E$ 不存在边际独立性。

2. 在给定 $C$ 的情况下，$D$ 和 $E$ 是否条件独立？

可见，在给定 $C$ 的情况下，$D$ 和 $E$ 是独立的。

3. $A$ 和 $D$ 是否边际独立？

可见，$D$ 和 $E$ 不存在边际独立性。

4. 在给定 $C$ 的情况下，$A$ 和 $D$ 是否条件独立？

可见，在给定 $C$ 的情况下，$A$ 和 $D$ 是独立的。

5. $A$ 和 $B$ 是否边际独立？

   

   可见，$D$ 和 $E$ 是边际独立的，即在不存在已知条件的情况下，二者是独立的。

6. 在给定 $C$ 的情况下，$A$ 和 $B$ 是否条件独立？

可见，在给定 $C$ 的情况下，$A$ 和 $B$ 之间存在连线，所以 $A$ 和 $B$ 不是独立的。

在周志华编著的《机器学习》一书中提到了三个变量之间的典型依赖关系。

在“同父”（common parent）结构中，给定父结点 $x_1$ 的取值，则 $x_3$ 与 $x_4$ 条件独立。在“顺序”结构中，给定 $x$ 的值，则 $y$ 与 $z$ 条件独立。V型结构（V-structure）亦称“冲撞”结构，给定子结点 $x_4$ 的取值，$x_1$ 与 $x_2$ 必不独立；奇妙的是，若 $x_4$ 的取值完全未知，则V型结构下 $x_1$ 与 $x_2$ 却是相互独立的。这三种结构完全对应于上面的6个问题。

特别说明一下V型结构，如果已知 $x_4$ 或 $x_4$ 的后代结点的值，那么 $x_1$ 与 $x_2$ 也必不独立。举个例子：

上面的有向无环图说明考试成绩由我们的智商和试卷难度决定，最终等级的评定依赖于考试成绩。

假设成绩已知，如果知道该同学智商很低，但是成绩很高，那么就可以说明考试题目非常简单；同理，如果知道该同学智商很高，但是成绩很低，那么可以说明考试题目非常难。如果成绩未知，或者说只看”智商“和”难度“，显然二者没有一点关系，此时二者独立。类似地，因为评分等级中蕴含了成绩信息，所以已知等级也可以推断出该同学智商与难度的关系。

如果不对贝叶斯网的假设进行修改的话，会产生歧义。基于上面的讨论我们知道「在V型结构中，在给定 $x_4$ 时，$x_1$ 和 $x_2$ 不再独立」，基于原书中的假设，有读者认为「$x_1$ 和 $x_2$ 没有后裔关系却不独立，这与假设中要求”每个属性与它的非后裔属性独立“相矛盾」。其实假设中的”每个属性“本意是”每个子结点对应的属性“，即给定的父结点，它们所拥有的孩子结点才是这里的”每个属性“想要表达的含义。因此，假设并没有要求两个父结点 $x_1$ 和 $x_2$ 独立，而是要求 $x_4$ 与 $x_4$ 的非后裔属性独立 。这样，另两个结构也说得通。

7.2 学习

若网络结构已知，即属性间的依赖关系已知，则贝叶斯网的学习过程相对简单，只需通过对训练样本“计数”，估计出每个结点的条件概率表即可。但在现实应用中我们往往并不知晓网络结构，于是，贝叶斯网学习的首要任务就是根据训练数据集来找出结构最“恰当”的贝叶斯网。“评分搜索”是求解这一问题的常用办法。具体来说，我们先定义一个评分函数（score function)）。以此来评估贝叶斯网与训练数据的契合程度，然后基于这个评分函数来寻找结构最优的贝叶斯网。显然，评分函数引入了关于我们希望获得什么样的贝叶斯网的归纳偏好。

归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。在具体的现实问题中，这个假设是否成立，即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。

常用评分函数通常基于信息论准则，此类准则将学习问题看作一个数据压缩任务，学习的目标是找到一个能以最短编码长度描述训练数据的模型，此时编码的长度包括了描述模型自身所需的字节长度和使用该模型描述数据所需的字节长度。对贝叶斯网学习而言,模型就是一个贝叶斯网，同时，每个贝叶斯网描述了一个在训练数据上的概率分布，自有一套编码机制能使那些经常出现的样本有更短的编码。于是，我们应选择那个综合编码长度（包括描述网络和编码数据）最短的贝叶斯网，这就是“最小描述长度”（Minimal Description Length，简称 MDL）准则。

把类别也看作一个属性，即 ${xx}_i$ 是一个包括示例和类别的向量。给定训练集 $D=\{{xx}_1,{xx}_2,...,{xx}_m\}$，贝叶斯网 $B=⟨G,\Theta ⟩$ 在 $D$ 上的评分函数可写为
$$s(B\mid D)=f(\theta )\left|B\right|-LL(B\mid D)\text{\hspace{1em}(33)}$$
其中，$|B|$ 是贝叶斯网的参数个数；$f(\theta )$ 表示描述每个参数 $\theta$ 所需的字节数；而
$$LL(B\mid D)=\sum _{i=1}^{m}log{P}_B({xx}_i)\text{\hspace{1em}(34)}$$
是贝叶斯网 $B$ 的对数似然。显然，式 $(33)$ 的第一项是计算编码贝叶斯网 $B$ 所需的字节数，第二项是计算 $B$ 所对应的概率分布 $P_B$ 需多少字节来描述 $D$ 。于是，学习任务就转化为一个优化任务，即寻找一个贝叶斯网 $B$ 使评分函数 $s(B\mid D)$ 最小。

若 $f(\theta )=1$，即每个参数用 $1$ 字节描述，则得到 AIC（Akaike Information Criterion）评分函数
$$AIC(B\mid D)=|B|-LL(B\mid D)\text{\hspace{1em}(35)}$$
若 $f(\theta )=\frac{1}{2}logm$，即每个参数用 $\frac{1}{2}logm$ 字节描述，则得到 BlC（Bayesian Information Criterion）评分函数
$$BIC(B\mid D)=\frac{logm}{2}|B|-LL(B\mid D)\text{\hspace{1em}(36)}$$
显然，若 $f(\theta )=0$，即不计算对网络进行编码的长度，则评分函数退化为负对数似然，相应的，学习任务退化为极大似然估计。

不难发现，若贝叶斯网 $B=⟨G,\Theta ⟩$ 的网络结构 $G$ 固定，则评分函数 $s(B\mid D)$ 的第一项为常数。此时，最小化 $s(B\mid D)$ 等价于对参数 $\Theta$ 的极大似然估计。由式 $(34)$ 和 $(32)$可知，参数 ${\theta }_{x_i|{\pi }_i}$。能直接在训练数据 $D$ 上通过经验估计获得，即
$${\theta }_{x_i|{\pi }_i}={\hat{P}}_D(x_i\mid {\pi }_i)\text{\hspace{1em}(37)}$$
其中 ${\hat{P}}_D(\cdot )$ 是 $D$ 上的经验分布，即事件在训练数据上出现的频率。因此，为了最小化评分函数 $s(B\mid D)$，只需对网络结构进行搜索，而候选结构的最优参数可直接在训练集上计算得到。

不幸的是，从所有可能的网络结构空间搜索最优贝叶斯网结构是一个 NP 难问题，难以快速求解。有两种常用的策略能在有限时间内求得近似解：第一种是贪心法，例如从某个网络结构出发，每次调整一条边（增加、删除或调整方向），直到评分函数值不再降低为止；第二种是通过给网络结构施加约束来削减搜索空间，例如将网络结构限定为树形结构等。

P 问题：Polynomial-time问题，即指在多项式时间内可用算法求解的问题；

NP问题：Non-deterministic Polynomial-time问题，指不确定是否存在多项式时间的求解算法，但可以在多项式时间内验证一个猜测解的正确性。（针对NP问题有一个千年难题，即NP=P?，也即是否所有能在多项式时间内验证得出正确解的问题，都是具有多项式时间算法的问题，至今尚未有定论）

半朴素贝叶斯分类器可看作贝叶斯网的特例，TAN 将结构限定为树形。

7.3 推断

这部分只是简单介绍。

贝叶斯网训练好之后就能用来回答“查询”（query），即通过一些属性变量的观测值来推测其他属性变量的取值。例如在西瓜问题中，若我们观测到西瓜色泽青绿、敲声浊响、根蒂蜷缩，想知道它是否成熟、甜度如何。这样通过已知变量观测值来推测待查询变量的过程称为“推断”（inference），已知变量观测值称为“证据”（evidence）。

最理想的是直接根据贝叶斯网定义的联合概率分布来精确计算后验概率，不幸的是，这样的“精确推断”已被证明是NP难的；换言之，当网络结点较多、连接稠密时，难以进行精确推断，此时需借助“近似推断”通过降低精度要求，在有限时间内求得近似解。在现实应用中，贝叶斯网的近似推断常使用吉布斯采样（Gibbs sampling）来完成，这是一种随机采样方法，我们来看看它是如何工作的。

令 $\mathrm{Q}\mathrm{Q}=\{Q_1,Q_2,...,Q_n\}$ 表示待查询变量，$\mathrm{E}\mathrm{E}=\{E_1,E_2,...,E_k\}$ 为证据变量，已知其取值为 $\mathrm{e}\mathrm{e}=\{e_1,e_2,...,e_k\}$ 。目标是计算后验概率 $P(\mathrm{Q}\mathrm{Q}=\mathrm{q}\mathrm{q}\mid \mathrm{E}\mathrm{E}=\mathrm{e}\mathrm{e})$，其中 $\mathrm{q}\mathrm{q}=\{q_1,q_2,...,q_n\}$ 是待查询变量的一组取值。以西瓜问题为例，待查询变量为 $\mathrm{Q}\mathrm{Q}=\{好瓜,甜度\}$，证据变量为 $\mathrm{E}\mathrm{E}=\{色泽,敲声,根蒂\}$ 且已知其取值为 $\mathrm{e}\mathrm{e}=\{青绿,浊响,蜷缩\}$，查询的目标值是 $\mathrm{q}\mathrm{q}=\{是,高\}$，即这是好瓜且甜度高的概率有多大。

如算法 $1$ 所示，吉布斯采样算法先随机产生一个与证据 $\mathrm{E}\mathrm{E}=\mathrm{e}\mathrm{e}$ 一致的样本 ${\mathrm{q}\mathrm{q}}^0$ 作为初始点，然后每步从当前样本出发产生下一个样本。具体来说，在第 $t$ 次采样中，算法先假设 ${\mathrm{q}\mathrm{q}}^t={\mathrm{q}\mathrm{q}}^{t-1}$，然后对非证据变量逐个进行采样改变其取值，采样概率根据贝叶斯网B和其他变量的当前取值（即 $\mathrm{Z}\mathrm{Z}=\mathrm{z}\mathrm{z}$）计算获得。假定经过 $T$ 次采样得到的与 $\mathrm{q}\mathrm{q}$ 一致的样本共有 $n_q$ 个，则可近似估算出后验概率
$$P(\mathrm{Q}\mathrm{Q}=\mathrm{q}\mathrm{q}\mid \mathrm{E}\mathrm{E}=\mathrm{e}\mathrm{e})\simeq \frac{n_q}{T}\text{\hspace{1em}(38)}$$
实质上，吉布斯采样是在贝叶斯网所有变量的联合状态空间与证据 $\mathrm{E}\mathrm{E}=\mathrm{e}\mathrm{e}$ 一致的子空间中进行“随机漫步”（random walk）。每一步仅依赖于前一步的状态，这是一个“马尔可夫链”（Markov chain）。在一定条件下，无论从什么初始状态开始，马尔可夫链第 $t$ 步的状态分布在 $t\to \infty$ 时必收敛于一个平稳分布（stationary distribution）；对于吉布斯采样来说，这个分布恰好是 $P(\mathrm{Q}\mathrm{Q}\mid \mathrm{E}=\mathrm{e}\mathrm{E}=\mathrm{e})$。因此，在 $T$ 很大时，吉布斯采样相当于根据 $P(\mathrm{Q}\mid \mathrm{E}=\mathrm{e}\mathrm{Q}\mid \mathrm{E}=\mathrm{e})$ 采样，从而保证了式 $(38)$ 收敛于 $P(\mathrm{Q}=\mathrm{q}\mid \mathrm{E}=\mathrm{e}\mathrm{Q}=\mathrm{q}\mid \mathrm{E}=\mathrm{e})$ 。

$$\begin{array}{llccc}\text{输入:}& 贝叶斯网B=⟨G,\Theta ⟩;& & & \\ & 采样次数T;& & & \\ & 证据变量\mathrm{E}\mathrm{E}及其取值\mathrm{e}\mathrm{e};& & & \\ & 待查询变量\mathrm{Q}\mathrm{Q}及其取值\mathrm{q}\mathrm{q}.& & & \\ \text{过程:}& & & & \end{array}$$

$$\begin{array}{rl}1:& n_q=0\\ 2:& {\text{q}}^0=对\text{Q}随机赋初值\\ 3:& \text{for}t=1,2,...,T\text{do}\\ 4:& \text{for}{Q}_i\in \text{Q}\text{do}\\ 5:& \text{Z}=\text{E}\cup \text{Q}\text{}\{Q_i\};\\ 6:& \text{z}=\text{e}\cup {\text{q}}^{t-1}\text{}\{q_i^{t-1}\};\\ 7:& 根据B计算分布P_B(Q_i\mid \text{Z}=\text{z});\\ 8:& q_i^t=根据P_B(Q_i\mid \text{Z}=\text{z})采样所获Q_i取值;\\ 9:& {\text{q}}^t=将{\text{q}}^{t-1}中的q_i^{t-1}用q_i^t替换\\ 10:& \text{end}\text{for}\\ 11:& \text{if}{\text{q}}^t=\text{q}\text{then}\\ 12:& n_q=n_q+1\\ 13:& \text{end}\text{if}\\ 14:& \text{end}\text{for}\end{array}$$

$$\begin{array}{lccccccccccc}\text{输出:}P(\text{Q}=\text{q}\mid \text{E}=\text{e})\simeq \frac{n_q}{T}& & & & & & & & & & & \end{array}$$

算法 1    吉布斯采样算法

需注意的是，由于马尔可夫链通常需很长时间才能趋于平稳分布，因此吉布斯采样算法的收敛速度较慢。此外，若贝叶斯网中存在极端概率“0”或“1”，则不能保证马尔可夫链存在平稳分布，此时吉布斯采样会给出错误的估计结果。

7.4 贝叶斯决策论、朴素贝叶斯、半朴素贝叶斯、贝叶斯网的关系

贝叶斯决策论提供了一个决策（分类）框架，朴素贝叶斯、半朴素贝叶斯和贝叶斯网作为贝叶斯分类方法是对决策论不同的具体实现。半朴素贝叶斯是贝叶斯网的特例，而朴素贝叶斯与它们两个不同。详细来说，朴素贝叶斯假设属性独立，是不允许属性存在依赖关系的；而半朴素贝叶斯允许属性依赖，但假设每个属性最多依赖一个其他属性，对应是属性依赖图为一棵树；简单来说，贝叶斯网假设属性条件独立，对应的属性依赖图是一个有向无环图。

8 EM 算法

这里仅给出EM算法的一般描述，具体例子和详细讲解参见之后的博客。

在前面的讨论中，我们一直假设训练样本所有属性变量的值都已被观测到，即训练样本是“完整”的。但在现实应用中往往会遇到“不完整”的训练样本，例如由于西瓜的根蒂已脱落，无法看出是“蜷缩”还是“硬挺”，则训练样本的“根蒂”属性变量值未知。在这种存在“未观测”变量的情形下，是否仍能对模型参数进行估计呢？

未观测变量的学名是“隐变量”（latent variable）。令 $\text{X}$ 表示已观测变量集，$\text{Z}$ 表示隐变量集，$\Theta$ 表示模型参数。若欲对 $\Theta$ 做极大似然估计，则应最大化对数似然
$$LL(\Theta \mid \text{X},\text{Z})=\ln P(\text{X},\text{Z}\mid \Theta )\text{\hspace{1em}(39)}$$

由于“似然”常基于指数族函数来定义，因此对数似然及后续 EM 迭代过程中一般是使用自然对数 $\ln (\cdot )$ 。

然而由于 $\text{Z}$ 是隐变量，上式无法直接求解。此时我们可通过对 $\text{Z}$ 计算期望，来最大化已观测数据的对数“边际似然”（marginal likelihood）
$$LL(\Theta \mid \text{X})=\ln P(\text{X}\mid \Theta )=\ln \sum _{\text{Z}}P(\text{X},\text{Z}\mid \Theta )\text{\hspace{1em}(40)}$$
EM（Expectation-Maximization）算法直译为“期望最大化算法”，通常直接称EM算法，是常用的估计参数隐变量的利器，它是一种迭代式的方法，其基本想法是：若参数 $\Theta$ 已知，则可根据训练数据推断出最优隐变量 $\text{Z}$ 的值（$\mathrm{E}$ 步）；反之，若 $\text{Z}$ 的值已知，则可方便地对参数做极大似然估计（ $\mathrm{M}$ 步）。

于是，以初始值 ${\Theta }^0$ 为起点，对式 $(40)$，可迭代执行以下步骤直至收敛：

• 基于 ${\Theta }^t$ 推断隐变量 $\text{Z}$ 的期望，记为 ${\text{Z}}^t$；
• 基于已观测变量 $\text{X}$ 和 ${\text{Z}}^t$ 对参数 $\Theta$ 做极大似然估计，记为 ${\Theta }^{t+1}$；

这就是 EM 算法的原型。

进一步，若我们不是取 $\text{Z}$ 的期望，而是基于 ${\Theta }^t$ 计算隐变量 $\text{Z}$ 的概率分布 $P(\text{Z}\mid \text{X},{\Theta }^t)$，则 EM 算法的两个步骤是：

• $\mathrm{E}$ 步（Expectation）：以当前参数 ${\Theta }^t$ 推断隐变量分布 $P(\text{Z}\mid \text{X},{\Theta }^t)$，并计算对数似然 $LL(\Theta \mid \text{X},\text{Z})$ 关于 $\text{Z}$ 的期望
  $$Q(\Theta \mid {\Theta }^t)={\mathbb{E}}_{\text{Z}\mid \text{X},{\Theta }^t}LL(\Theta \mid \text{X},\text{Z})\text{\hspace{1em}(41)}$$

• $\mathrm{M}$ 步（Maximization）：寻找参数最大化期望似然，即
  $${\Theta }^{t+1}=\underset{\Theta }{\arg \max }Q(\Theta \mid {\Theta }^t)\text{\hspace{1em}(42)}$$

简要来说，EM 算法使用两个步骤交替计算：第一步是期望 $(\mathrm{E})$步，利用当前估计的参数值来计算对数似然的期望值；第二步是最大化 $(\mathrm{M})$ 步，寻找能使 $\mathrm{E}$ 步产生的似然期望最大化的参数值。然后，新得到的参数值重新被用于 $\mathrm{E}$ 步，$\cdot \cdot \cdot$ $\cdot \cdot \cdot$ 直至收敛到局部最优解。

事实上，隐变量估计问题也可通过梯度下降等优化算法求解，但由于求和的项数将随着隐变量的数目以指数级上升，会给梯度计算带来麻烦；而 EM 算法则可看作一种非梯度优化方法。EM 算法可看作用坐标下降（coordinate descent）法来最大化对数似然下界的过程。

REF

[1] 机器学习 - 周志华著

[2] 概率论与数理统计（第四版） - 浙江大学 - 盛骤 等著

[3] 《Deep Learning Book》中文版 - GitHub

[4] 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解 - CSDN博客

[5] 统计学里频率学派(Frequentist)与贝叶斯(Bayesian)学派的区别和在机器学习中的应用 - 知乎

[6] 正态分布 - 百度百科

[7] PDF、PMF、CDF - CSDN博客

[8] 最大后验（Maximum a Posteriori，MAP）概率估计详解 - CSDN博客

[9] 机器学习和深度学习的主要术语（中英）- CSDN博客

[10] 互信息 - 百度百科

[11] 互信息（Mutual Information）介绍 - CSDN博客

[12] 小结 - Pearson correlation coefficients (Pearson相关系数)和Mutual information(互信息) - 知乎

[13] 贝叶斯网络简介 - 百度文库

[14] CAUSALITY - Discussion

[15] D-Separation：一种概率图结构独立性的判断方法 - 知乎

[16] 贝叶斯网络与D-Separation算法应用 - 知乎

[17] 独立与条件独立 - 知乎

[18] [NP问题、NP难问题(NPH)和NP完全问题(NPC)理解 - CSDN博客](