概率图模型学习（1）——基础

联合分布：为了用规则化的概率推理来完成推测一个或多个变量的可能值，需要在某些随机变量的可能值空间上构造一个联合分布。

将分布“分解”为一些更小的因子，使每一个因子定义在一个更小的概率空间上。联合分布定义为这些因子的乘积。

 

基本概念：

两类图：有向图——贝叶斯网；无向图——马尔科夫网

与其他学科的联系：计算机科学、统计学、信息论、概率论。

核心：紧凑表示、有效的推理、因子分解、概率模型、可行性学习。

 

概率基础知识：

一．概率论

1.      条件概率：

表示满足的结果中满足的相对比例。

2.      链式法则和贝叶斯规则

链式法则：

贝叶斯规则：

3.      随机变量和联合分布

单个随机变量上考虑的分布是边缘分布；几个随便变量相关的分布是联合分布。

4.      独立性与条件独立

     独立： 

    条件独立：

                                   

5.      最大后验概率（MAP）查询

      

         寻找使P(w,e)最大的w。

6.      概率密度函数——p(x)

区间概率：概率积分

用函数表示区间上的概率关系。

联合密度函数：多个变量相关的密度函数。

7.      期望和方差

       

        

二．图

把图作为一种数据结构来表示概率分布。

1.      节点与边

图是一个包含节点集与边集的数据结构。

有向图：XiàXj

无向图：Xi—Xj

XiàXj，称Xi在图中是Xj的子节点（Chx），Xj是Xi的父节点(Pax)。Xi—Xj在图中，Xi和Xj互为邻节点(Nbx)。Xi的边界集为Pax并Nbx。

入度：所有有向边的数目。

度：图中节点中最大的入度。

 

2.      子图

图的表示：

导出子图：

完全子图：

3.      路径与迹

路径：

迹：

4.      圈与环

圈：K中有一条有向路径X1，X2，…，Xk，其中X1=Xk。

无圈图：一个图中不包含圈。

贝叶斯网的基本图——有向无圈图。

部分有向无圈图：有向边和无向边共存的无圈图。

环：K中存在一条迹，其X1=Xk。

单连通：图不包含任何环。

叶节点：单连通中一个节点只有一个相邻节点就是叶子节点。

多重树：单连通有向图是一棵多重树。

森林：单连通无向图是森林。

弦：环中连通两个不连贯节点的边。

弦图：任意环X1—X2—…—Xk—X1有一条弦，则此无向图为弦图。