概率图模型学习(1)——基础

联合分布:为了用规则化的概率推理来完成推测一个或多个变量的可能值,需要在某些随机变量的可能值空间上构造一个联合分布。

将分布“分解”为一些更小的因子,使每一个因子定义在一个更小的概率空间上。联合分布定义为这些因子的乘积。

 

基本概念:

两类图:有向图——贝叶斯网;无向图——马尔科夫网

与其他学科的联系:计算机科学、统计学、信息论、概率论。

核心:紧凑表示、有效的推理、因子分解、概率模型、可行性学习。

 

概率基础知识:

一.概率论

1.      条件概率:


表示满足的结果中满足的相对比例。

2.      链式法则和贝叶斯规则

链式法则:

贝叶斯规则:

3.      随机变量和联合分布

单个随机变量上考虑的分布是边缘分布;几个随便变量相关的分布是联合分布。

4.      独立性与条件独立

     独立: 

    条件独立:

                                   

5.      最大后验概率(MAP)查询

      

         寻找使P(w,e)最大的w。

6.      概率密度函数——p(x)

区间概率:概率积分

用函数表示区间上的概率关系。

联合密度函数:多个变量相关的密度函数。

7.      期望和方差

       

        


二.图

把图作为一种数据结构来表示概率分布。

1.      节点与边

图是一个包含节点集与边集的数据结构。

有向图:XiàXj

无向图:Xi—Xj

XiàXj,称Xi在图中是Xj的子节点(Chx),Xj是Xi的父节点(Pax)。Xi—Xj在图中,Xi和Xj互为邻节点(Nbx)。Xi的边界集为Pax并Nbx。

入度:所有有向边的数目。

度:图中节点中最大的入度。

 

2.      子图

图的表示:

导出子图:

完全子图:

3.      路径与迹

路径:

迹:

4.      圈与环

圈:K中有一条有向路径X1,X2,…,Xk,其中X1=Xk。

无圈图:一个图中不包含圈。

贝叶斯网的基本图——有向无圈图。

部分有向无圈图:有向边和无向边共存的无圈图。

环:K中存在一条迹,其X1=Xk。

单连通:图不包含任何环。

叶节点:单连通中一个节点只有一个相邻节点就是叶子节点。

多重树:单连通有向图是一棵多重树。

森林:单连通无向图是森林。

弦:环中连通两个不连贯节点的边。

弦图:任意环X1—X2—…—Xk—X1有一条弦,则此无向图为弦图。

 

你可能感兴趣的:(概率图模型,概率图模型)