lattice,flat

Chinese NER Using Lattice LSTM 阅读笔记_Ono_online的博客-CSDN博客

【NER-1】-2018 ACL Lattice-LSTM_latticelstm代码_应有光的博客-CSDN博客

 lattice model(结合上面两个博客来看)

18分钟彻底搞懂LSTM网络原理,NLP,深度学习,自然语言处理_哔哩哔哩_bilibili

如何从RNN起步,一步一步通俗理解LSTM_rnn lstm_v_JULY_v的博客-CSDN博客

与原版lstm作对比,理解网络的记忆这个概念

1.

lattice,flat_第1张图片

 代表词向量表,从中查阅字对应的词向量,然后输入BILSTM

词粒度模型的相关改进主要在于将词内的字信息整合到词表示中,即

lattice,flat_第2张图片

 标黑的那句话:以论文中例子为例,“南京市长江大桥”,桥为一个字,大桥和长江大桥分别通过命中词信息传递得到词的表示,然后存到桥的信息中,词汇信息融入该词汇的最后一个字符中,如下图

lattice,flat_第3张图片

这里的融入应该是字向量和所有词向量矩阵的拼接,形式lattice,flat_第4张图片,组合成一个向量,其中两个\partial参数是当前字信息和词信息拼接后计算得到的词输入门因子和单字LSTM中计算得到的字输入门因子进行softmax归一化得来的

 lattice,flat_第5张图片

 h是最后的隐藏层输出,c是最终的记忆状态

2.FLAT

中文实体识别SOTA模型Flat-Lattice Transformer效果复现及原理分析 - 知乎

Transformer-XL全解读_transformerxl_爱编程真是太好了的博客-CSDN博客

FLAT:Chinese NER Using Flat-Lattice Transformer_AItth的博客-CSDN博客

NLP项目实践——中文序列标注Flat Lattice代码解读、运行与使用_yangjie_word_char_mix.txt_常鸿宇的博客-CSDN博客

注意点:1.flat-lattice是对跨度之间相对编码,span是字符和词汇的总称,span之间存在三种关系:交叉、包含、分离,然而作者没有直接编码这些位置关系,而是将其表示为一个稠密向量。作者用head[i]和tail[i]表示span的头尾位置坐标,并从四个不同的角度来计算xi和xj的距离

例:南京市长江大桥   市长 江大桥  和长江大桥就是交叉的关系

 NER(命名实体识别)之FLAT详解 - 知乎

你可能感兴趣的:(python学习,深度学习)