机器学习第14章(概率图模型)

                                                概率图模型

14.1 隐马尔科夫模型

机器学习最重要的任务:根据一些已观察到的证据(例如训练样本)来对感兴趣的未知变量(例如类别标记)进行估计和预测。

probabilistic model概率模型将学习任务归结于计算变量的概率分布,在概率模型中,利用已知变量推测未知变量的分布称为“推断(inference)”,其核心是如何基于可观测变量推测出未知变量的条件分布。

probabilistic graphical model是一类用图来表达变量相关关系的概率模型。图上的每个结点表示一个或一组随机变量,结点之间的表示变量间的概率相关关系,即“变量关系图”。根据边的性质不同,probabilistic graphical model可分为两类:1.有向无环图,或称为有向图模型或贝叶斯网(bayesian network);2.无向图,又称为无向图模型或马尔科夫网(markov network)。

Hidden Markov Model  隐马尔科夫模型是结构最简单的动态bayesian network。

Markov Chain:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态。

14.2 马尔科夫随机场

Markov Random Field,MRF  马尔科夫随机场是典型的马尔科夫网。markov random field有一组势函数protential functions,亦称因子factor。

局部马尔科夫性(local markov property):给定某变量的邻接变量,则该变量条件独立于其他变量。

成对马尔科夫性(pairwise markov property):给定所有其他变量,两个非邻接变量条件独立。

14.3 条件随机场

Conditional Random Field,CRF是一种判别式无向图模型,是对条件分布进行建模。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模。

14.4 学习与推断

概率图模型的推断方法大致有两类:1类是精确推断方法,希望能计算出目标变量的边际分布或条件分布的精确值;2类是近似推断方法,希望在较低时间复杂度下获得原问题的近似解。

14.5 近似推断

近似推断方法大致可分为两类,一类是sampling,通过使用随机化方法完成近似;一类是使用确定性近似完成近似推断,典型代表为变分推断(variational inference)。

概率图模型最常用的采样技术就是马尔科夫链蒙特卡洛方法(MCMC)。

变分推断通过使用已知简单分布来逼近需推断的复杂分布,并通过限制近似分布的类型,从而得到一种局部最优、但具有确定解的近似后验分布。

14.6 话题模型

topic model是一族生成式有向图模型,主要用于处理离散型的数据(如文本集合)。

你可能感兴趣的:(机器学习,数据挖掘,机器学习)