自然语言处理学习笔记六(条件随机场)

一、序列标注模型

       1.机器学习的模型谱系

       机器学习要解决的根本问题就是给定随机变量，来预测另外一些随机变量的问题。预测的随机变量究竟是连续型随机变量还是离散型随机变量，机器学习分为回归与分类问题，NLP最主要的是分类问题。

       预测的随机变量是一个独立变量还是多个相互关联的变量，机器学习问题又分为分类问题与结构化预测问题。

       根据多维随机变量的建模究竟是联合概率分布还是条件概率分布，派生出生成式模型与判别式模型。

     2.生成式模型与判别式模型

       生成式模型是模拟数据的生成过程，两类随机变量存在因果先后关系。

       判别式模型可以利用各种各样丰富的、有关联的特征。

    3.有向与无向概率图模型

       概率图模型是用来表示与推断多维随机变量联合分布的强大框架，被广泛用于计算机视觉、知识表达、贝叶斯统计与自然语言处理。将多维随机变量分布表示为图，整个图就可以分解为子图来进行分析，子图随机变量更少，建模更加简单，为了分解成子图，据此派生出有向图模型与无向图模型。

      有向图模型是按照事件的先后因果顺序将节点连接为有向图，用箭头连接两个事件。

      无向图模型是不探究每个事件的因果关系，模型中没有方向，仅仅是代表两个事件有关联。

二、条件随机场

        1. 条件随机场是一种给定输入随机变量，求解条件概率的概率无向图模型。

        2. 条件随机场与结构化感知机的特征函数完全一致；结构化感知机对某预测打分越高，条件随机场给予该预测的概率也越大。

        3.对比结构化感知机 

         相同点：

         特征函数、权重向量、打分函数、预算算法都相同，都属于结构化学习。

          差异：

         最大的不同点在于训练算法，也是两者准确率差异的唯一原因。

             感知机算法属于在线学习，每次参数更新只使用一个训练实例，并没有考虑整个数据集；

             条件随机场的每次的参数更新是考虑全局的；

             感知机奖励正确答案对应的特征函数，但仅仅惩罚错的厉害的那一个特征函数；

             条件随机场不但奖励正确答案对应的特征函数，还同时惩罚所有的答案。