机器学习基础 之 概率图模型

转自： https://www.zhenxiangsimple.com/2019/04/12/tech-ml-gltmx/

---

隐马尔可夫模型

  隐马尔可夫模型是马尔可夫链的一种形式，马尔可夫链可以理解为一个状态变量受到其他所有状态的条件依赖关系，可以由一个状态代替，而不用去处理较多的状态，如果将状态使用时序表示，可以描述为系统的下一时刻的状态仅有当前时间状态决定，跟之前的状态无关。隐马尔可夫模型的状态值不能直接观察到，但能通过某个状态值推断出对应的观测值，同时而状态之间是一种马尔可夫链关系。
  该模型常用语语音识别和自然语言处理，在吴军老师的数学之美中有更简洁易懂的解释。

马尔可夫随机场

  马尔可夫随机场包含马尔可夫和随机两个概念，是一种满足马尔可夫性质的随机过程，马尔可夫简单说就是未来只跟现在有关，跟过去历史无关的一种样本状态；随机过程就是一连串随机状态的一种定量关系描述。整体来讲，马尔可夫随机场就是用于描述那些满足马尔可夫性质的随机状态的模型。
  全局马尔可夫性是指给定两个变量子集的分离集，则这两个变量子集条件独立；将其细化可以得到局部马尔可夫性和成对马尔可夫性两个推论，局部马尔可夫性指给定比变量的邻接变量，则该变量条件独立于其他变量，成对马尔可夫性指给定所有变量，两个非邻接的变量条件独立。

条件随机场

  条件随机场是一种判别式无向图，用于对多个变量在给定观测值后的条件概率进行建模，即对于一组给定随机分布的输入观测值，来建立随机分布的输出状态的条件概率分布模型。
  条件随机场跟上面的马尔可夫随机场的本质上一样，区别是马尔可夫随机场考虑的是观测变量之间联合概率，而条件随机场分析的是观测变量到状态的条件概率，换句话说条件随机场可以理解为研究给定随机观测变量条件下，状态随机变量的马尔可夫随机场。

学习与推断

  本节主要说概率图模型中对具体分布参数的学习和模型的推断，参数的学习可以使用极大似然估计或最大后验概率估计求解，若将参数视为待推测变量，则参数估计跟推断过程十分接近，可以吸收到推断问题中。常用的推断方法分为精确推断和近似推断两类，精确推断常用有变量消去法和信念传播法。
  变量消去法是基于图模型的条件独立性，把多个变量的积的求和问题转化为部分变量交替进行求和和求积问题，实现了对部分变量的消去；信念传播法是基于变量消去法的思想，对各变量进行累计和传播，更好的解决了多个边际分布的重复计算问题。

近似推断

  近似推断一般分为随机化采样和确定性近似两类，随机化采样的原理是直接使用样本进行目标期望值的计算，而不用先通过样本计算出概率分布，然后再基于分布计算对应的期望值，其中MCMC采样法是通过构造“平稳分布为p的马尔可夫链”来产生样本。变分推断是使用已知的简单分布来逼近需要推断的复杂分布的一种确定性近似方法。

话题模型

  话题模型主要用于处理离散型的数据，基本原理就类似对一篇文章进行话题划分的过程，主要也用于信息检索和自然语言处理领域。先对文章中出现词的词频进行统计，然后将词指派给不同话题，再通过话题来对词进行随机采样，最终可以使用话题来表示文档；或者说，一篇文章中的词是基于一定概率出现在某个话题中，而反过来某个话题也是以一定概率含有某个词。

点击查看 (人工智能) 系列文章

---