《统计学习方法》读书笔记——第十一章 条件随机场

 

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

---

目录

写在前面

本章框架

概率无向图模型（马尔科夫随机场）

条件随机场

条件随机场的三个问题

补充知识点

 

---

本章框架

概率无向图模型（马尔科夫随机场）

是一个可以由无向图表示的联合概率分布，其中用图的节点(node) 表示随机变量，用边(edge) 表示随机变量之间的概率依赖关系。无向图中随机变量之间存在以下三种关系（三者等价）：

• 成对马尔可夫性
• 局部马尔科夫性
• 全局马尔科夫性

团、最大团

条件随机场

条件随机场是给定输入随机变量X条件下，输出随机变量Y的条件概率分布模型，其形式为参数化的对数线性模型。条件随机场的最大特点是假设输出变量之间的联合概率分布构成概率无向图模型，即马尔可夫随机场。条件随机场（或概率无向图模型）的联合概率分布可以分解为 无向图最大团上的正值函数的乘积 的形式。

条件随机场是判别模型。

线性链条件随机场：定义在观测序列与标记序列上的条件随机场。表达式为：

条件随机场的三个问题

（同第十章隐形马尔可夫模型的三个问题）

• 概率计算问题

是给定条件随机场 P(Y|X),输入序列x 和输出序列 y ，计算条件概率 P(Yi=yi|x), P(Yi-1=yi-1，Yi=yi|x) 以及相应的数学期望的问题。

主要也是 前向——后向算法

• 学习算法

给定训练数据集估计条件随机场模型参数的问题。

主要包括：极大似然估计，正则化的极大似然估计，具体的优化算法有改进的迭代尺度法 IIS ，梯度下降法以及拟牛顿法。

• 预测算法

给定条件随机场 P(Y|X) 和输入序列（观测序列）x,求条件概率最大的输出序列（标记序列）y ，这也是其重要应用——标注问题。

主要方法有：维特比算法

---

补充知识点