命名实体识别V1

outline

• 命名实体识别
• NER的方法简介

命名实体识别

命名实体识别(Name Entity Recognition,NER)，是自然语言处理(Natural LanguageProcessing, NLP)的一个基础任务，其目标是要识别出文本中出现的专有名称和有意义的数量短语并加以归类，提高NER的精度和召回率对于信息抽取，机器翻译，文本分类，问答系统，文本摘要，智能搜索等具有非常重要的意义

命名实体是命名实体识别的研究主体，一般包括3大类(实体类、时间类和数字类)和7小类(人名、地名、机构名、时间、日期、货币和百分比)命名实体。

• 时间/数字表达式的识别
  规则的设计、数据的统计训练等也比较容易。
• 组织名、人名、地名
  具有开放性和发展性的特点，而且构成规律有很大的随意性，所以其识别就可能会有较多的错选或漏选。现在大多数的命名实体识别的研究都集中于对这三种实体的识别技术的研究。

NER的问题通常被抽象为序列标注(Sequence labeling)问题

汉语命名实体识别中的特殊难点：

（1）分词：边界模糊不仅存在于非实体词之间，也出现于实体词和非实体词之间。
（2）汉语命名实体的生成规律以及结构更加复杂，尤其是缩略语的表示形式具有多样性，很难提取构成规则，因此不可能用一种识别模型应用于所有的命名实体。
（3）与西方语言比较，汉语缺少在命名实体识别中起重要作用的词形变换特征。
（4）汉语中除比较特殊的字词外，命名实体也可包含普通字词。
（5）能用于汉语命名实体识别的开放型语料还很少，因此一方面需要开发大型命名实体标注语料库，另一方面研究不依赖大型命名实体标注文本库的算法也具有重要意义。

Chinese_ner_format.png

评估指标

正确率 = 识别出的正确实体数 / 识别出的实体数
召回率 = 识别出的正确实体数 / 样本的实体数
F1值 = （2 * 正确率 * 召回率）/（正确率 + 召回率）

NER的方法简介

基于规则的方法->基于统计的方法->混合方法->深度学习

NER.png

基于规则的方法

基于规则的方法需要构建大量的规则集，规则集的构建需要一定的专家知识，而且效果好的规则集需要经过多次地修正才能达到要求。这种手工规则的方式在小 数据集上可达到很高的准确率和召回率，但是随着数据集的増大这种方式变得不再可取，并且某一语料上构建的规则集在其他的语料上不再适用。
如：NTU系统、FACILE系统、OKI系统。

cocoNLP是一个可以抽取邮箱，手机号，身份证号，人名等信息的开源工具包。

基于统计的方法

基于统计的学习方法从大量标注好的语料中创建出能够识别出实体的特征。
缺点是需要大量标注好的语料，但是现实中标注好的语料非常昂贵。

• HMM
• CRF
  机器学习-概率图模型初探

基于深度学习的方法

• bi-LSTM-CRF
  bi-LSTM-CRF模型在不同的时刻，通过捕获该时刻前后的全部上下文信息，将所有信息当作该时刻的上下文信息，然后生成一个概率P的实体名分数，最后再加入CRF对实体之间的依赖性建模
  
  Bi_LSTM_CRF_model.png

基于tensorflow深度学习的中文的命名实体识别

基于 bi-LSTM和CRF的中文命名实体识别
代码

• bi-LSTM-CNN-CRF
  bi-LSTM-CNN-CRF与bi-LSTM-CRF的主要思想相同，不同点是加入了CNN进行字 向量的训练，然后与词向量组合共同作为bi-LSTM的输入。
  
  Bi_LSTM_CNN_CRF_model.png

参考资料

《2017_基于深度学习的中文命名实体识别研究浙江大学硕士学位论文 隋臣》
《命名实体识别研究》一文的笔记