人工智能第十四章——利用贝叶斯网络的概率推理

摘要

本文旨在讲明：
1）贝叶斯玩过
2）条件概率的有效表示
3）贝叶斯网络的精确推理
4）贝叶斯网络的近似推理

一、贝叶斯网络

贝叶斯网络用于什么？
贝叶斯网络用于表示变量之间的依赖关系。可以本质上表示任何完全联合概率分布，在许多情况下这种表示是简明扼要的。

贝叶斯网络是什么？
每个结点对应一个随机变量，这个变量可以是离散的或者连续的
一组有向边或箭头连接结点对。如果有从结点X指向结点Y的箭头，则称X是Y的一个父结点。图中没有有向回路（因此被称为有向无环图，或简写为DAG）。
每个结点Xi有一个条件概率分布P(Xi | Parents(Xi))，量化其父结点对该结点的影响。

由此可确定所有变量的完全联合概率分布

混合贝叶斯网络
同时包含离散随机变量和连续随机变量的网络称为混合贝叶斯网络

一个同时包含离散变量（Subsidy(政府补助)和Buys）和连续变量（Harvest和Cost）的简单网络

二、贝叶斯网络的精确推理

给定一组证据变量的赋值后，计算一组查询变量的后验概率分布。

每次只考虑一个查询变量；算法可以容易地扩展到有多个查询变量的情况。

消去求和变量——避免重复计算

三、贝叶斯网络的近似推理

蒙特卡洛算法

大规模多连通网络中的精确推理是不实际的。随机采样算法（也称为蒙特卡洛算法），能够给出一个问题的近似解，精度依赖于所生成的采样点的多少。

描述两个算法家族：直接采样和马尔可夫链采样。

直接采样：按照拓扑顺序依次对每个变量进行采样。变量值被采样的概率分布依赖于父结点已得到的赋值。

拒绝采样：给定一个易于采样的分布，为一个难于采样的分布生成采样样本。

似然加权（likelihood weighting）只生成与证据e一致的事件，从而避免拒绝采样算法的低效率。

马尔可夫链采样：
把马尔可夫链蒙特卡洛(MCMC)算法想象成：在特定的当前状态，每个变量的取值都已确定，然后随机修改当前状态，从而生成下一个状态

Gibbs采样算法：
贝叶斯网络的Gibbs采样算法从任意的状态出发，通过(给定马尔可夫覆盖)对一个非证据变量Xi随机采样而生成下一个状态。对Xi的采样条件依赖于Xi的马尔可夫覆盖中的变量的当前值。

四、文末诗词

出户独吟聊妄想,孤云断处是家乡
　　　　　　　　　——曾国藩《忆弟二首》

总结&未来工作

现在开始，也算草草将人工智能的大脉络梳理了一遍，但是我对自己很不满意。

接下来，每一章会从书本中选取一个最经典的题目，尽量研究透彻，然后有意思的话会发到博客。