论文学习-End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

1.传统方法和问题

本文要解决的是序列标注的问题，可用于POS、NER等任务。
大部分传统的高效模型是线性统计模型，包括HMM，CRF等。
这些模型十分依赖手工标注特征，需要引入外部相关资源（名称库），普适性差。
导致序列标注模型很难去应用到新的标记任务上。
近些年有一些非线性神经网络模型用词向量（Word Embedding）作为输入，颇为成功，但是如果仅依赖词向量，效果将变得很差。

2.本文的贡献

一种用于语言序列标记的新型神经网络结构：
两个典型NLP任务的基准数据集的实证评估。
state-of-the-art performance ，真正的端到端系统。
直接输入原始数据，让模型自己去学习特征，最后输出结果。中间不再需要人工的参与。
除了在未标记的语料库上预训练的单词嵌入之外，没有数据预处理。

3.作者提出的模型

卷积神经网络（CNN）将单词的字符级信息编码成其字符级表示形式。
将字符级和单词级表示形式进行组合，并将它们输入到双向LSTM（BLSTM）中，以对每个单词的上下文信息进行建模。
在BLSTM之上，作者使用CRF联合解码整个句子的标签。

4.Embedding工作流程

5.CNN在模型中的作用

1.降维
2.CNN的优点是可以高效地学习形态学特征，比如单词的前缀或者后缀、大小写等。
作者使用了四种Embedding方法，分别在POS和NER上取得了不用的表现效果。

6.Bi-LSTM

使用LSTM可以捕捉到长距离之间的关系，但是LSTM无法捕捉从后向前的信息，在更细粒度的分类时，如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。
举一个例子，“这个餐厅脏得不行，没有隔壁好”，这里的“不行”是对“脏”的程度的一种修饰，通过BiLSTM可以更好的捕捉双向的语义依赖。

对应的在作者提出的模型上，BI-LSTM模型为：

7.CRF-条件随机场

CRF发展过程

CRF是给定一组输入序列条件下另一组输出序列的条件概率分布模型，在以往的LSTM出来的（label）是孤立的，没有考虑context，CRF考虑。
比如在汉语中的“一个”这个词语，我们希望输出是一/B个/E，而在现实中经过LSTM出来的预测效果是，一/B个/B，在这个时候我们可以引入CRF来根据以前的上下文词性，来给这两个词性标注打分。
经过LSTM的预测效果已经很好了，但是LSTM的会产生在B后面再来一个B的情况，CRF就不会出现这个问题，LSTM考虑的是序列x的上下文信息，而CRF是考虑预测的Label之间的特征。

8.实验结果

作者在最后也论述了各种模型的必要性

第一次在组会上做论文报告，也是第一次接触NLP方面，如果有不正确的地方，希望大佬批评指正！