（四）序列标注——实体识别Lattice-LSTM（中）

[if !vml]

[endif]

上篇文章简单总结下经典的序列lstm-crf模型，接下来follow两篇2018最新的有关的文章。

1.NCRF++: An Open-source Neural Sequence Labeling Toolkit

• COLING 2018 的 Best Paper 之一 “Most Reproducible Paper”

• 论文基于的 PyTorch 代码框架 NCRF++ 也收录于 ACL 2018 的 Demo Paper

https://github.com/jiesutd/NCRFpp.这篇文章对序列标注任务做了一个总结，NCRF++是一个基于PyTorch的框架，可以灵活选择输入特性和输出结构。使用NCRF++的神经序列标记模型的设计可以通过配置文件完全配置，不需要任何代码工作。NCRF++是CRF++的一个神经版本，是一个著名的统计CRF框架。

优点：

1.Fully configurable:所有的神经模型结构都可以用配置文件来设置。

2.State-of-the-art system performance:基于NCRF++的模型与最先进的模型相比可以提供类似或更好的结果。

3.Flexible with features:用户可以定义自己的特性和预训练的特性嵌入。

4.Fast running speed:NCRF++充分利用批处理操作，GPU (>1000sent/s training，>2000sents/s decoding)使系统高效运行。

5.N best output:NCRF++ support nbest decoding (with their probabilities).

开源代码讲的很详细，这里就不再赘述。看一下实验结果：

2.Chinese NER Using Lattice LSTM

官方代码（官方代码batch_size只能设置成1，这一点有点坑，只支持pytorch0.3.0和Python2.7，我在pytorch0.4.0上也没跑通，如有需要请看我修改后的代码版本python3.6 pytorch0.4.0）

这篇文章主要是对中文的NER做的工作，比较具有代表性。我们先来看一下中英文数据在标注上的区别

显然中文没法先进行分词然后再标注，中文的词语太多，按照英文方式标注会造成OOV的问题，例如：2007/年/ 10 /月/至今/任/人和投资/董事

        - 优势：

              完整的嵌入词语信息

              特征维度小，网络训练速度快

        - 缺点：

              分词精度不高

              OOV影响模型泛化能力

              语料大时，词典容量大，占用内存资源大

那么能不能有种办法加入分词的特征信息呢？例如这样一种结构：

这篇文章就是做的这个工作，设计思路如下：

这个图比较好懂，但实现起来是比较麻烦的，主要是Lattice的部分，代码写的挺好的额，下面我从代码的角度给讲解一下：

1.数据准备：

文章用的就是金融数据，和我之前的工作完全契合，甚至直接可以拿这个训练好的模型来用，这份数据肯定是作者清洗过得，每个句子的长度就20-50个词，显然不是很大，太长了反而不利于训练和识别，因为lstm的能力实在有限。

文章在读数据时候建立三个词表：

这里的biword就是统计相邻两个词语，word是对单个字的统计（和char的内容一样）：

biword

那之前提到的网格模型中的分词部分是怎么体现的呢？这就是emd提供的内容，作者准备的emb里面就有大量的高频词和词向量，这其实都是NLP常见的数据处理步骤：

接下来就是在train,dev,test file在embedding中匹配到的词语：

这里的匹配方式值得学习，将emb里的词构造成树：

例如“参”这个字，就匹配到了“参加”这个词语，

然后将匹配到的词全部记录下来，这样每个句子都会有一个新的特征，即每个字在上下文中匹配的词语，如图,第三条就是Lattice特征：

数据部分就说到这里，接下来看一下模型部分：

这里主要搞清楚网格模型是个啥：

        我们知道lstm的输出有C,H两个，C是传到下一个step的状态，H是当前step的输出，前面说这个模型之所以实现比较复杂，官方给的bz=1的版本就是因为每个句子的网格特征不一样，所以不能多个句子一起处理。

        Lattice就是对于每个字匹配到的词语例如（南 匹配到了南京市 红框部分）那么把南京市这个词送到RNN中（黄框部分），并记录长度位置信息存到list中，进行迭代（箭头部分）。

大致就是这么个思路，详细过程还得看代码哈！！！

我们来看一下实验结果：

这是在官方的数据上的实验结果，这里我贴出在金融数据上做的几组实验（左边decode file；右边gold file）：

甚至有些结果比给的标注还要好：