深度学习用于序列标注中的论文及代码集锦

[1] Bidirectional LSTM-CRF Models for Sequence Tagging

Zhiheng Huang 

Baidu Research

2015

https://pdfs.semanticscholar.org/af88/ce6116c2cd2927a4198745e99e5465173783.pdf

这篇文章将bidirectional LSTM with a CRF layer (BI-LSTM-CRF)用于序列标注

RNN结构示例如下

LSTM核心组件示例如下

LSTM示例如下

双向LSTM示例如下

CRF示例如下

LSTM-CRF框架示例如下

BI-LSTM-CRF示例如下

BI-LSTM-CRF训练过程示例如下

利用MaxEnt特征的BI-LSTM-CRF示例如下

数据集统计信息如下

各模型结果对比如下

代码地址

https://github.com/UKPLab/emnlp2017-bilstm-cnn-crf

https://github.com/Hironsan/anago

---

              我是分割线

---

[2] End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

Xuezhe Ma

Carnegie Mellon University

ACL 2016

http://www.aclweb.org/anthology/P16-1101

这篇文章无需人工提取特征，同时利用单词和字符级别的特征，结合了双向LSTM，CNN，CRF等

下面是CNN用于提取字符级别的特征

LSTM重要组件示例如下

整体框架示例如下

超参数设置如下

数据集统计信息如下

各模型结果对比如下

代码地址

https://github.com/XuezheMax/LasagneNLP

https://github.com/XuezheMax/NeuroNLP2

https://github.com/UKPLab/emnlp2017-bilstm-cnn-crf

---

              我是分割线

---

[3] Neural Architectures for Named Entity Recognition

Guillaume Lample

Carnegie Mellon University

NAACL-HLT 2016

http://aclweb.org/anthology/N16-1030

网络框架如下

stack-lstm示例如下

模型结果如下

代码地址

https://github.com/clab/stack-lstm-ner

https://github.com/glample/tagger

---

             我是分割线

---

[4] Reporting Score Distributions Makes a Difference: Performance Study of LSTM-networks for Sequence Tagging

Nils Reimers

Ubiquitous Knowledge Processing Lab (UKP-DIPF)

EMNLP 2017

http://aclweb.org/anthology/D17-1035

这篇文章讨论了模型结果的评分分布的影响

不同种子数据的影响如下

层数影响示例如下

不同配置对模型结果影响如下

代码地址

https://github.com/UKPLab/emnlp2017-bilstm-cnn-crf

---

             我是分割线

---

[5] NCRF++: An Open-source Neural Sequence Labeling Toolkit

Jie Yang

Singapore University of Technology and Design

ACL 2018

http://www.aclweb.org/anthology/P18-4013

这篇文章给出了一种开源工具

参数配置示例如下

框架示例如下

各模型结果对比如下

不同特征结果对比如下

批的大小对速度的影响如下

代码地址

https://github.com/jiesutd/NCRFpp

---

              我是分割线

---

[6] Design Challenges and Misconceptions in Neural Sequence Labeling

Jie Yang

Singapore University of Technology and Design

COLING 2018http://aclweb.org/anthology/C18-1327

几种方法的对比总结（含若干参考文献）

框架示例如下

基于CNN和LSTM的字符级别方法对比如下

基于CNN和LSTM的单词级别方法对比如下

数据集统计及超参数对比如下

命名实体识别中各方法对比如下

chunking任务中各方法对比如下

词性标注各方法对比如下

各方法对比如下

代码地址

https://github.com/jiesutd/NCRFpp

---

               我是分割线

---

您可能感兴趣