概率图模型的学习——Probabilistic Graphical Model

一、概括

对于分类问题

给定：x (观测值) 、y (预测值)

例如：天气预测

x={气温, 湿度, 气压, …}；

y={晴天, 下雨, 多云, …}；

生成模型（generative）判别模型（ discriminative）

生成模型：又叫产生式模型，主要学习样本的联合概率分布：P(x,y)=P(y|x)*P(x);

生成模型在学习完联合概率密度分布之后可以利用贝叶斯方法求出P(y|x),然后再分类；

和判别模型的区别是得到P(x,y)之后不仅仅可以用于分类，还可以生成新的（x,y）的数据对。

用于随机生成的观察值建模，特别是在给定某些隐藏参数情况下。

- 主要特点：
    一般主要是对后验概率建模，从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。
    只关注自己的inclass本身（即点左下角区域内的概率），不关心到底 decision boundary在哪。
- 优点:
    实际上带的信息要比判别模型丰富，
    研究单类问题比判别模型灵活性强
    模型可以通过增量学习得到
    能用于数据不完整（missing data）情况

- 缺点：

学习和计算过程比较复杂

- 常用的生成模型主要有：Naive Bayes 和 Hidden Markov Model ；  

 

常用的生成模型主要有：Naive Bayes 和 Hidden Markov Model ；  

Naive Bayes：（当类别标签y是已知的，所有的xk是独立的）

 

判别模型：

直接学习条件概率密度，估计后验概率；P(y|x)

- 主要特点：
    寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。
- 优点:
    分类边界更灵活，比使用纯概率方法或生产模型得到的更高级。
    能清晰的分辨出多类或某一类与其他类之间的差异特征
    在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好
    适用于较多类别的识别
    判别模型的性能比生成模型要简单，比较容易学习
- 缺点：
    不能反映训练数据本身的特性。能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来。
    Lack elegance of generative: Priors, 结构, 不确定性
    Alternative notions of penalty functions, regularization, 核函数
    黑盒操作: 变量间的关系不清楚，不可视
    
- 常见的主要有：
    logistic regression
    SVMs
    traditional neural networks
    Nearest neighbor
    Conditional random fields(CRF): 目前最新提出的热门模型，从NLP领域产生的，正在向ASR和CV上发展。

- 主要应用：
    Image and document classification
    Biosequence analysis
    Time series prediction

HMMs(隐马尔科夫模型):
     状态序列不能直接被观测到(hidden)；
     每一个观测被认为是状态序列的随机函数；
     状态转移矩阵是随机函数，根据转移概率矩阵来改变状态。
     HMMs与MRF的区别是只包含标号场变量，不包括观测场变量。

MRF(马尔科夫随机场)
     将图像模拟成一个随机变量组成的网格。
     其中的每一个变量具有明确的对由其自身之外的随机变量组成的近邻的依赖性(马尔科夫性)。

CRF(条件随机场),又称为马尔可夫随机域
     一种用于标注和切分有序数据的条件概率模型。
     从形式上来说CRF可以看做是一种无向图模型，考察给定输入序列的标注序列的条件概率。

在视觉问题的应用：
HMMs:图像去噪、图像纹理分割、模糊图像复原、纹理图像检索、自动目标识别等
MRF: 图像恢复、图像分割、边缘检测、纹理分析、目标匹配和识别等
CRF: 目标检测、识别、序列图像中的目标分割