命名实体识别NER常用方法

标签方案
隐马尔科夫模型HMM
条件随机场CRF
LSTM
循环神经网络是一种具有循环结构的神经网络，与传统神经网络最大的不同在于隐藏层的输入不仅包含了输入层的输出，还包含了上一个时刻隐藏层的输出，其主要特点是可以存储之前时刻的信息。虽然RNN理论上可以保留上文的所有信息，但随着隐藏层层数的增加，存在着梯度消失或梯度爆炸的现象。LSTM能有效解决长时依赖的问题，包括遗忘门、输入门和输出门。为了使网络表达的信息更丰富，推测更准确，研究采用了双向网络结构，即Bi-LSTM。Bi-LSTM 由两个LSTM拼接而成包含一个正向输入序列和反向输入序列，同时考虑了过去的特征和未来的特征。

LSTM的优点是能够通过双向的设置学习到观测序列（输入的字）之间的依赖，在训练过程中，LSTM能够根据目标（比如识别实体）自动提取观测序列的特征，但是缺点是无法学习到状态序列（输出的标注）之间的关系，要知道，在命名实体识别任务中，标注之间是有一定的关系的，比如B类标注（表示某实体的开头）后面不会再接一个B类标注，所以LSTM在解决NER这类序列标注任务时，虽然可以省去很繁杂的特征工程，但是也存在无法学习到标注上下文的缺点。

当用Bi-LSTM 来做命名实体识别时，Bi-LSTM 的输出为实体标签的分数，且选择最高分数对应的标签。然而某些时候，Bi-LSTM却不能得到真正正确的实体标签,这时候就需要加入CRF层.CRF 由Lafferty 等人于2001 年提出，结合了最大熵模型和隐马尔科夫模型的特点，能对隐含状态建模，学习状态序列的特点，但它的缺点是需要手动提取序列特征。

所以一般的做法是，在LSTM后面再加一层CRF，以获得两者的优点。
LSTM+CRF
CRF层