概率图模型的学习

前言

机器学习中最重要的任务，是根据一些已观察到的证据（如训练样本）来对感兴趣的未知变量（如类别标记）进行估计和预测。概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量概率的分布。

什么是概率图模型

在概率模型中，利用已知变量推测未知变量的分布称为“推断”（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。具体来说，假定问题中关注的变量集合为Y，可观测的变量集合为O，其它变量的集合是R。生成式模型考虑联合分布P(Y,R,O)，判别式模型考虑条件分布P(Y,R|O)。给定一组观测变量值，推断就是要从P(Y,R,O)或P(Y,R|O)中得到条件概率分布P(Y|O)。
直接利用概率和规则消去变量R显然不可行，因为其计算复杂度是指数型的。为了便于研究高效的推断和学习算法，需要一套能简洁紧凑的表达变量间关系的工具，于是概率图模型营运而生。
概率图模型（probabilistic graphical model）是一类用图来表示变量间相关关系的概率模型。它以图为表示工具，常见的是用一个节点表示一个或一组随机变量，节点之间的边表示变量间的概率相关关系，即“变量关系图”。
根据边的性质不同，概率图分为：

• 使用有向无还图表示变量间的依赖关系，称为有向图或贝叶斯网（Bayes Network）。
• 使用无向图表示变量间的相关关系，称为无向图模型或马尔科夫网（Markov Network）。

若变量间存在显式的因果关系，则常使用Bayes Network；若变量间存在相关性，但是难以获得显式的因果关系，则经常使用Markov Network。

隐马尔科夫模型的介绍

隐马尔科夫模型（Hidden Markov Model，简称HMM）是结构最简单的动态贝叶斯网（相比普通贝叶斯网络而言），是一种著名的有向图，主要应用在时序数据建模、语音识别、自然语言处理等领域中。

未完待续...