命名实体识别V1-基于深度学习的方法

接前文命名实体识别V1，以下是近段时间阅读的NER任务的相关论文

1.BiLSTM-CRF
这个方法已经在前文有所介绍，
出自《Bidirectional LSTM-CRF Models for Sequence Tagging -2015》这篇paper
后续的多篇论文都是在此文基础上做出的改进。
该方法的优化目标为：

bilstm-crf-loss.png

公式中，矩阵A为状态转移矩阵，f为BiLSTM的分数输出。

2.BiLSTM-CNN-CRF
这个方法已经有所前文有所介绍，
出自《End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF -- 2016》这篇paper
把每个单词的字母作为一个序列，输入CNN得到单词的embedding，如下图：

cnn char embedding.png

然后将这个embedding和word embedding级联后输入BiLSTM+CRF中进行标注

3.char-based BiLSTM-CRF
该方法出自《NeuralArchitecturesforNamedEntityRecognition 2016》

char-LSTM.png

4.Radical-based BiLSTM-CRF
这个方法是针对中文NER的，使用的是字级别的特征
该方法出自《Character-Based LSTM-CRF with Radical-Level Features for Chinese Named Entity Recognition--2016》
这篇有意思的地方在于将汉字进行了分解，如下图：

decompose of Chinese Char.png

然后用分解后的部分输入BiLSTM生成这个字的embedding，过程如下：

embedding of Char.png

后续的过程就是常规流程

5.Attention-BiLSTM-CRF
该方法出自《An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition -- 2018》
方法流程图如下：

attention-Bilstm-crf.png

本文的attention层：
根据每步time-step的输出计算一个global vector,每步time-step有不同的权重，将global vector和当前步的BiLSTM输出级联然后输入CRF
对于BiLSTM的输入，使用了Char embedding和Word embeddding,并且加入了额外的特征。

6.IDCNN-CRF
该方法出自《Fast and Accurate Entity Recognition with Iterated Dilated Convolutions -- 2017》
该方法和上述方法有很大区别，没有使用BiLSTM作为“特征提取器”，而是使用了IDCNN这个模型，该模型的最大优势是可以并行执行。与CNN相比，IDCNN可以捕获远距离的信息。