[if !vml]
[endif]
上篇文章简单总结下经典的序列lstm-crf模型，接下来follow两篇2018最新的有关的文章。
1.NCRF++: An Open-source Neural Sequence Labeling Toolkit
• COLING 2018 的 Best Paper 之一 “Most Reproducible Paper”
• 论文基于的 PyTorch 代码框架 NCRF++ 也收录于 ACL 2018 的 Demo Paper
https://github.com/jiesutd/NCRFpp.这篇文章对序列标注任务做了一个总结，NCRF++是一个基于PyTorch的框架，可以灵活选择输入特性和输出结构。使用NCRF++的神经序列标记模型的设计可以通过配置文件完全配置，不需要任何代码工作。NCRF++是CRF++的一个神经版本，是一个著名的统计CRF框架。
优点：
1.Fully configurable:所有的神经模型结构都可以用配置文件来设置。
2.State-of-the-art system performance:基于NCRF++的模型与最先进的模型相比可以提供类似或更好的结果。
3.Flexible with features:用户可以定义自己的特性和预训练的特性嵌入。
4.Fast running speed:NCRF++充分利用批处理操作，GPU (>1000sent/s training，>2000sents/s decoding)使系统高效运行。
5.N best output:NCRF++ support nbest decoding (with their probabilities).
开源代码讲的很详细，这里就不再赘述。看一下实验结果：
2.Chinese NER Using Lattice LSTM
官方代码（官方代码batch_size只能设置成1，这一点有点坑，只支持pytorch0.3.0和Python2.7，我在pytorch0.4.0上也没跑通，如有需要请看我修改后的代码版本python3.6 pytorch0.4.0）
这篇文章主要是对中文的NER做的工作，比较具有代表性。我们先来看一下中英文数据在标注上的区别
显然中文没法先进行分词然后再标注，中文的词语太多，按照英文方式标注会造成OOV的问题，例如：2007/年/ 10 /月/至今/任/人和投资/董事
- 优势：
完整的嵌入词语信息
特征维度小，网络训练速度快
- 缺点：
分词精度不高
OOV影响模型泛化能力
语料大时，词典容量大，占用内存资源大
那么能不能有种办法加入分词的特征信息呢？例如这样一种结构：
这篇文章就是做的这个工作，设计思路如下：
这个图比较好懂，但实现起来是比较麻烦的，主要是Lattice的部分，代码写的挺好的额，下面我从代码的角度给讲解一下：
1.数据准备：
文章用的就是金融数据，和我之前的工作完全契合，甚至直接可以拿这个训练好的模型来用，这份数据肯定是作者清洗过得，每个句子的长度就20-50个词，显然不是很大，太长了反而不利于训练和识别，因为lstm的能力实在有限。
文章在读数据时候建立三个词表：
这里的biword就是统计相邻两个词语，word是对单个字的统计（和char的内容一样）：
那之前提到的网格模型中的分词部分是怎么体现的呢？这就是emd提供的内容，作者准备的emb里面就有大量的高频词和词向量，这其实都是NLP常见的数据处理步骤：
接下来就是在train,dev,test file在embedding中匹配到的词语：
这里的匹配方式值得学习，将emb里的词构造成树：
例如“参”这个字，就匹配到了“参加”这个词语，
然后将匹配到的词全部记录下来，这样每个句子都会有一个新的特征，即每个字在上下文中匹配的词语，如图,第三条就是Lattice特征：
数据部分就说到这里，接下来看一下模型部分：
这里主要搞清楚网格模型是个啥：
我们知道lstm的输出有C,H两个，C是传到下一个step的状态，H是当前step的输出，前面说这个模型之所以实现比较复杂，官方给的bz=1的版本就是因为每个句子的网格特征不一样，所以不能多个句子一起处理。
Lattice就是对于每个字匹配到的词语例如（南 匹配到了南京市 红框部分）那么把南京市这个词送到RNN中（黄框部分），并记录长度位置信息存到list中，进行迭代（箭头部分）。
大致就是这么个思路，详细过程还得看代码哈！！！
我们来看一下实验结果：
这是在官方的数据上的实验结果，这里我贴出在金融数据上做的几组实验（左边decode file；右边gold file）：
甚至有些结果比给的标注还要好：