Simplify the Usage of Lexicon in Chinese NER阅读笔记

基于之前Lattice LSTM的问题进行改进 Lattice LSTM虽然达到了SOTA 但是模型结构非常复杂 限制了在工业上的应用 这篇提出了一个简化且高效的模型 融合了词汇信息到字编码中 避免了复杂的序列建模结构 而且对于任何神经NER模型 只需要对字表示层进行微调来引入词汇信息

本文提出了两个方法 后者为前者的优化

第一个方法 构造exsoftword特征 这种方法能保存所有可能的词典匹配的分词结果

{B, M , E, S, O}对应(begin, middle, end, single, other)

Simplify the Usage of Lexicon in Chinese NER阅读笔记_第1张图片

如上图 以c7:西 为例 按BMESO的规则 西只有中山西路(西为M)和 山西(西为E)这两种表示所以构造出的exsoftword特征就是{M, E} 同理 如果是c6:山 那么就表示为{B, M, E}

但是这种方法有两个问题 且没有继承LATTICELSTM的优点:

  1. 不能引入预训练的词向量 因为转化为 BMESO表示
  2. 仍然损失了一些匹配结果的信息 例如上图中 c5 c6 c7 c8构造出来的exsoftword特征就有两种情况 中山 山西 中山西路 和 中山 中山西 山西路 所以会损失信息

然后基于exsoftword 作者就提出了softlexicon方法来合并词典信息 也就是改进版本

改进的方式:每个字符分配BMES 如果一个词是空的就以NONE字符表示

Simplify the Usage of Lexicon in Chinese NER阅读笔记_第2张图片

 

如上图 这样对于c6:山 表征方式就变成了

 

这样就可以利用预训练的词向量了 而且这种方法能覆盖到字符的所有词

具体的input生成过程为:把每个字符的四种词集合 压缩到一个固定的维度的向量

为了尽可能保留原始信息 用concat拼接四套词的表征 然后再加到字符表征中去

其中单字符的四个词集合中的每个集合 也需要映射到一个固定维度向量 使用的方法是 mean pooling和加权求和 后者效果更好

加权求和的过程中 权值是由词频决定的 但是当两个词中有字符重叠时 频率不增加(其实感觉这个实现还挺难的) 比如南京和南京市 当计算南京市长江大桥的词频时 南京的词频就不增加 因为南京和南京市重叠 这样就可以避免短字的频率总是大于他的长字的频率的问题

然后看整体模型结构:Simplify the Usage of Lexicon in Chinese NER阅读笔记_第3张图片

 

在softlexicon后 concat 然后接常规的encoding层 这里包括bilstm cnn transformer 这篇论文利用的是单层的bilstm 然后接crf

实验结果:推理速度提升了六倍多

Simplify the Usage of Lexicon in Chinese NER阅读笔记_第4张图片

 

效果没有很突出

Simplify the Usage of Lexicon in Chinese NER阅读笔记_第5张图片

 

你可能感兴趣的:(论文阅读笔记,自然语言处理,深度学习,transformer)