概率图模型基础(1)——简介

概率图模型基础之一:简介

  • 1. 分布及其因子操作
    • 1.1 联合分布
    • 1.2 联合分布与条件分布(Condition Probability Distribution, CPD)的一些计算
      • 1.2.1 Reduction
      • 1.2.2 Renormalization
      • 1.2.3 Marginalization
  • 2. Factors
    • 2.1 Factor定义
    • 2.2 Factor的运算
      • 2.2.1 product
      • 2.2.2 add
      • 2.2.3 Reduction
    • 2.3 符号抽象
  • 4. 参考来源

1. 分布及其因子操作

1.1 联合分布

以学生成绩为例:共有以下几个变量:Intelligence( i 0 = l o w , i 1 = h i g h i^0=low, i^1=high i0=low,i1=high)、Diffculty( d 0 = e a s y . d 1 = h a r d d^0=easy. d^1=hard d0=easy.d1=hard)、Grade( g 1 = A , g 2 = B , g 3 = C g^1=A, g^2=B, g^3=C g1=A,g2=B,g3=C)。
概率图模型基础(1)——简介_第1张图片

其联合分布为:概率图模型基础(1)——简介_第2张图片

这三种变量的组合共有 2 ∗ 2 ∗ 3 = 12 2*2*3=12 223=12种。

1.2 联合分布与条件分布(Condition Probability Distribution, CPD)的一些计算

1.2.1 Reduction

设置筛选条件:以选取成绩为A的人为例,把所有得A的人 ( G = g 1 ) (G=g^1) (G=g1)选出来。概率图模型基础(1)——简介_第3张图片

1.2.2 Renormalization

重新标准化,将筛选出来的值除以其概率和,保证标准化后的概率和为1。概率图模型基础(1)——简介_第4张图片

1.2.3 Marginalization

计算边缘概率 概率图模型基础(1)——简介_第5张图片


2. Factors

2.1 Factor定义

factory 可以理解为一种函数或者表格。其目的是将变量 ( X 1 , . . . , X k ) (X_1,...,X_k) (X1,...,Xk)映射到某一个实数集。
例如:

  • 在图Joint Distribution中, I , D , G I,D,G I,D,G就是一种factor。对于其中的每一行,都有一个对应的实数。
  • 在图normalization中, I , D I,D I,D有是一种factor,没有 G G G的原因是其他两个变量与变量 G G G没有关系, G G G在其中视为常量即可。

2.2 Factor的运算

2.2.1 product

类似于数据库中的join关键字连接。
概率图模型基础(1)——简介_第6张图片

2.2.2 add

对应1.2 节中的Marginalization。
概率图模型基础(1)——简介_第7张图片

2.2.3 Reduction

对应1.2 节中的Reduction。
概率图模型基础(1)——简介_第8张图片

2.3 符号抽象

为了方便,我们通常将包括但不限于上述的操作符抽象为:
概率图模型基础(1)——简介_第9张图片


4. 参考来源

  • 斯坦福公开课——Probabilistic Graphical Models

你可能感兴趣的:(概率图模型)