机器学习之概率图模型（贝叶斯概率，隐马尔科夫模型）

一、贝叶斯公式

在学习概率图模型之前先要了解贝叶斯公式：

由公式(1),(2)可得：

这便是贝叶斯公式，其中条件概率P(A/B)称为后验概率，概率P(A),P(B)称为先验概率，条件概率P(B/A),称为似然函数。即我们在已知条件概率P(B/A)和概率P(A),P(B)的情况下，可以计算出条件概率P(A/B)。
又由于已知公式：

将贝叶斯公式中的P(B)替换得：

这里列举一个应用贝叶斯概率公式进行建模的例子—朴素贝叶斯的文本分类：
给定M封邮件，每个邮件被标记为垃圾邮件或者非垃圾邮件，给出第M+1封非标记邮件，求其是垃圾邮件的概率。
朴素贝叶斯的基本假设：1、一个特征出现的概率，与其他特征（条件）独立（特征独立性）；2、每个特征同等重要。
分析：
类别C：垃圾邮件C1，非垃圾邮件C2。词汇表，有两种建立方法：1、使用现成的单词词典；2、将所有邮件中出现的单词都统计出来，得到词典。记单词数目为N。将每个邮件M映射成维度为N的向量X：若单词Wi在邮件M中出现过，则xi=1，否则，xi=0。即邮件的向量化：M->(x1,x2,…,xN)。
利用贝叶斯公式：P(C1/X)=P(X/C1)*P(C1)/P(X); P(C2/X)=P(X/C2)*P(C2)/P(X)。其中P(X/C)可以由给定的M封邮件统计得到。这样就可以根据第M+1封邮件中的单词情况来估计它为垃圾邮件或非垃圾邮件的概率。

二、概率图模型

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。
如下所示：

其中事件E可以影响事件R和事件A，事件B可以影响事件A，事件A又可以影响事件C。该图的联合概率P(E,B,R,A,C) 由下面公式可求得：

即所有父节点的先验概率，叶节点的后验概率相乘。我们只需要统计计算出概率P(E),P(B),P(R/E),P(A/E,B)和P(C/A)，就可以得到联合概率了。
求出一个概率图的联合概率密度以后，图上的任意一个先验概率和后验概率就都可以求得了。例如：

对应任何一个问题，我们都可以建立它的概率图模型，通过求出其联合概率就能计算出每个事件，每种情况下的概率是多少了。

三、隐马尔科夫模型HMM

隐马尔科夫模型是一种特殊的概率图模型。它认为t时刻的状态由t-1时刻的状态决定，t时刻的观测仅与t时刻的状态相关。如下图所示：

其中1,2,3表示3个时刻，X表示各个时刻的状态，Y表示各个时刻状态对外变现出的观测值。其中状态是隐形的，我们看不到；而观测值是显性的，我们能够看到。
首先，像前面一样，计算其联合概率：

所以我们先得统计得到概率P(X1),P( X2/X1 ),P( Y1/X1 ),P( Y2/X2 ),P( X3/X2 )和P( Y3/X3 )。其中，P(Xt/Xt-1)称为状态转移概率，P(Yt/Xt)称为发射概率。为了计算简便，HMM认为P(Xt/Xt-1)=P(Xt-1/Xt-2)。HMM模型的目的是计算P(X3/Y1,Y2,Y3)的大小，计算分为预测和更新两个过程。
预测：
这里用到了公式P(AB/C)=P(A/BC)*P(B/C),预测的过程是得到P(Xt/Y1:t-1)，计算如下：

其中第二步到第三步是因为状态Xt与Y1:t-1相互独立。求出最后结果P(Xt/Xt-1)是已知的，P(Xt-1/Y1:t-1)为一递归公式，递归到最后P(X1)已知，所以P(Xt/Y1:t-1)就能求出。
更新：
这个过程用到公式P(A/BC)=P(B/AC)P(A/C)/P(B/C),更新过程由P(Xt/Y1:t-1)得到最终的P(Xt/Y1:t)，计算如下：

最后P(Yt/Xt),P(Xt/Y1:t-1)都是已知的，所有最终概率P(Xt/Y1:t)就可以计算出来了。