概率图模型

如何根据一些已经观察到的数据（如训练样本）观测出感兴趣的未知变量（如类别）。

概率图模型（probabilistic graphical model）是一类能够用图来表达变量相关关系的概率模型。可分为两类：

• 使用有向无环图表示变量之间的依赖关系，称为有向图模型或者贝叶斯网（Bayesian network）
• 使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网（Markov network）

EM（Expectation-maximization）算法

EM算法的目的是解决变量中存在“隐变量”（latent variable）的问题，令$X$是观测变量集，$Z$是隐变量集合，$\theta$表示模型参数。
若对$\theta$做极大似然估计，目标是最大化对数似然：
$$LL(\theta |X,Z)=lnP(X,Z|\theta )$$
又由于隐变量未知，上式不能直接求解，则可以将其转为对$Z$计算期望，从而最大化已观测数据的边际似然:
$$LL(\theta |X)=lnP(X|\theta )=ln\sum _{z}P(X,Z|\theta )$$
EM(Exception-Maximization)算法是常用的估计参数隐变量的利器，其基本思想是：

• E步：根据$\theta$去求解最优隐变量$Z$的值，即${\theta }^t\to Z^t$
• M步：已知Z通过极大似然估计去求解$\theta$,即$Z^t\to {\theta }^{t+1}$

进一步，我们取的并不是$Z$的期望，而是基于${\theta }^t$计算$Z$的概率分布$P(Z|{\theta }^t,X)$，则EM算法的两个步骤是：

• E步（Exception）：以当前的${\theta }^t$去推断隐变量的分布$P(Z|X,{\theta }^t)$，并计算对数似然$LL(\theta |X,Z)$关于$Z$的期望：

$$Q(\theta |{\theta }^t)=E_{Z|X,{\theta }^t}LL(\theta |X,Z)$$

• M步（Maximization）：最大化期望似然。

$${\theta }^{t+1}=argma{x}_{\theta }Q(\theta |{\theta }^t)$$

EM算法的推导

作为EM算法的扩展，不感兴趣的朋友可以跳过本节。

马尔科夫链，MCMC与Gibbs sampling

在我的博客MCMC与Gibbs sampling中有完整的介绍，这里就不再赘述。

隐马尔科夫模型（Hidden Markov Model，HMM）

对于一阶马尔科夫链而言，每个状态只与前一个状态有关，但是现实往往不是这么简单。因此，引入高阶马尔科夫性，我们有：
$$P(x_n|x_{n-1},\cdots ,x_1)=P(x_n|x_{n-1},\cdots ,x_{n-M})$$
但是这样会带来指数爆炸的问题，即参数随着$M$的增大呈现爆炸式增长。假设每种随机变量有K种状态，其参数数量为$K^M(K-1)$。

那么有什么方法能够将当前变量与更早的变量联系起来，又能有效减少参数数量呢？引入隐变量解决，由此我们得到HMM的基础结构，如下图所示：

基于这种依赖关系，所有变量的联合概率分布可以表示为：
$$P(x_1,x_1,\cdots ,x_n)=p(x_1)p(y_1|x_1)\prod _{t=2}^{n}p(y_t|y_{t-1})p(x_t|y_t)$$
除了结构信息，确定以下马尔可夫模型需要三组参数：

• 状态转移矩阵：模型在各个状态间转移的概率，通常记为矩阵$A=[a_{ij}{]}_{N\times N}$

$$a_{ij}=p(y_{t+1}=s_j|y_t=s_i),1\le i,j\le N$$

• 发射矩阵：模型根据当前的状态获得观测值的概率，通常记为矩阵$B=[b_{ij}{]}_{N\times M}$

$$b_{ij}=p(x_t=o_j|y_t=s_i)$$

• 初始状态概率：模型在初始时刻各个状态的概率，通常记为$\pi =\{{\pi }_1,\cdots ,{\pi }_N\}$

$${\pi }_j=p(y_t=s_j),1\le j\le N$$
我们将这些结构信息，统称为$\lambda =(A,B,\pi )$，将观测序列称为$O$。
HMM问题有三大经典问题要解决：

评估观察序列的概率

模型已知（即已知状态转移矩阵、发射概率矩阵以及其初始状态概率）记为$\lambda$，已知观测序列记为$O$，求解$P(O|\lambda )$

显然，如果HMM模型很简单，我们是可以通过暴力求解的，假定隐藏序列为$I$。下面简要叙述：
$$P(O|\lambda )=\sum _{I}P(O,I|\lambda )=\sum _{i_1,i_2,\cdots ,i_T}{\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)\cdots b_{i_T}(o_T)$$
但如果我们的隐藏状态数很多，则有$N^T$种组合，其时间复杂度过高。前向后向算法就是帮助我们在较低的时间复杂度下完成该问题。

前向后向算法

前向算法：

后向算法：

求解模型参数

由于有隐变量的存在，显然的，应该采取EM算法求解，我们直接将EM算法的公式带入进来，就有：

• E步：

$$Q(\lambda ,{\lambda }^t)=\sum _{I}P(I|O,{\lambda }^t)logP(O,I|\lambda )$$

• M步：

$${\lambda }^{t+1}=argma{x}_{\lambda }Q(\lambda ,{\lambda }^t)$$

而我们知道：
$$P(O,I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1,i_2}\cdots a_{i_{T-1},i_T}{b}_{i_T}(o_T)\text{\hspace{1em}(1)}$$
且$P(I|O,{\lambda }^t)=\frac{P(O,I|{\lambda }^t)}{P(O|{\lambda }^t)}$其中，$P(O|{\lambda }^t)$是常数，则问题变为:
$$Q(\lambda ,{\lambda }^t)=\sum _{I}P(O,I|{\lambda }^t)logP(O,I|\lambda )\text{\hspace{1em}(2)}$$
将（1）带入（2）中可得
$${\lambda }^{t+1}=argma{x}_{\lambda }\sum _{I}P(O,I|{\lambda }^t)(log{\pi }_{i_1}+\sum _{t=1}^{T}log{a}_{i_t,i_{t+1}}+\sum _{t=1}^T{b}_{i_t}(o_t))$$
那么，为了更新参数，当然我们需要对参数的每一项进行求导，并令导数结果为0。这里我就不推导了，其最终的结果为：

其中，

• 给定模型和观测状态O，在时刻t处于状态$q_i$的概率

$${\gamma }_t(i)=P(i_t=q_i|O,\lambda )=\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

• 给定模型和观测序列，在t时刻处于$q_i$，在t+1时刻处于$q_j$的概率

$$\begin{gathered} {\xi }_t(i,j)=P(i_t=q_i,i_{t+1}=q_j|O,\lambda ) \\ =\frac{P(i_t=q_i,i_{t+1}=q_j,O|\lambda )}{P(O|\lambda )} \\ =\frac{{\alpha }_t(i)a_{i,j}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{{\sum }_{r=1}^N{\sum }_{s=1}^N{\alpha }_r(t)a_{rs}{b}_s(o_{t+1}){\beta }_{t+1}(s)} \end{gathered}$$

维特比算法解码隐藏状态序列

该步骤主要解决，已知模型和观测序列，求得其最有可能出现的隐藏状态序列。那么也就是说目标是让$P(I^{\ast }|O)$最大化。

CRF（Conditional Random Fields，条件随机场算法）

CRF可以解决词性标注问题，这里就从词性标注问题说起：

比如这句话：“Bob drank coffee at Starbucks”，注明每个单词的词性后是这样的：“Bob (名词) drank(动词) coffee(名词) at(介词) Starbucks(名词)”。
下面，就用条件随机场来解决这个问题。

以上面的话为例，有5个单词，我们将：(名词，动词，名词，介词，名词)作为一个标注序列，称为l，可选的标注序列有很多种，比如l还可以是这样：（名词，动词，动词，介词，名词），我们要在这么多的可选标注序列中，挑选出一个最靠谱的作为我们对这句话的标注。

怎么判断一个标注序列靠谱不靠谱呢？

就我们上面展示的两个标注序列来说，第二个显然不如第一个靠谱，因为它把第二、第三个单词都标注成了动词，动词后面接动词，这在一个句子中通常是说不通的。
假如我们给每一个标注序列打分，打分越高代表这个标注序列越靠谱，我们至少可以说，凡是标注中出现了动词后面还是动词的标注序列，要给它负分！！
上面所说的动词后面还是动词就是一个特征函数，我们可以定义一个特征函数集合，用这个特征函数集合来为一个标注序列打分，并据此选出最靠谱的标注序列。也就是说，每一个特征函数都可以用来为一个标注序列评分，把集合中所有特征函数对同一个标注序列的评分综合起来，就是这个标注序列最终的评分值。

定义CRF中的特征函数

现在，我们正式地定义一下什么是CRF中的特征函数，所谓特征函数，就是这样的函数，它接受四个参数：

• 句子s（就是我们要标注词性的句子）
• i，用来表示句子s中第i个单词
• $l_i$，表示要评分的标注序列给第i个单词标注的词性
• $l_{i-1}$，表示要评分的标注序列给第i-1个单词标注的词性

它的输出值是0或者1,0表示要评分的标注序列不符合这个特征，1表示要评分的标注序列符合这个特征。

Note:这里，我们的特征函数仅仅依靠当前单词的标签和它前面的单词的标签对标注序列进行评判，这样建立的CRF也叫作线性链CRF，这是CRF中的一种简单情况。为简单起见，本节中我们仅考虑线性链CRF。

从特征函数到概率

定义好一组特征函数后，我们要给每个特征函数$f_j$赋予一个权重${\lambda }_j$。现在，只要有一个句子s，有一个标注序列l，我们就可以利用前面定义的特征函数集来对l评分。

对这个分数进行指数化和标准化，我们就可以得到标注序列l的概率值$p(l|s)$，如下所示：

CRF与HMM的比较

对于词性标注问题，HMM模型也可以解决。HMM的思路是用生成办法，就是说，在已知要标注的句子s的情况下，去判断生成标注序列l的概率，如下所示：

对上面取对数：

我们把这个式子与CRF的式子进行比较：

不难发现，如果我们把第一个HMM式子中的log形式的概率看做是第二个CRF式子中的特征函数的权重的话，我们会发现，CRF和HMM具有相同的形式。
换句话说，我们可以构造一个CRF，使它与HMM的对数形式相同。怎么构造呢？
对于HMM中的每一个转移概率$p(l_i=y|l_{i-1}=x)$,我们可以定义这样的一个特征函数：

该特征函数仅当$l_i=y,l_{i-1}=x$时才等于1。这个特征函数的权重如下：

同样的，对于HMM中的每一个发射概率，我们也都可以定义相应的特征函数，并让该特征函数的权重等于HMM中的log形式的发射概率。

用这些形式的特征函数和相应的权重计算出来的$p(l|s)$和对数形式的HMM模型几乎是一样的。用一句话来说明HMM和CRF的关系就是这样：每一个HMM模型都等价于某个CRF。

但是，

• CRF可以定义数量更多，种类更丰富的特征函数。HMM具有天然的局限性，每一个单词只能依赖当前的标签，每一个标签只能依赖于前一个标签，因此其特征函数相对局限。而CRF可以定义全局的特征函数。
• CRF可以利用任意的权重。

参考

机器学习西瓜书
EM算法原理及推导
隐马尔科夫模型
CRF