分享一次词典库构建的流程

词典库的含义

在深度学习中，如何在其中融入知识是一个研究非常火热的课题。相比于 Bert, ERNIE中引入全词Mask，达到了 SOTA,这也是引入啦知识 。因此词典库在底层可以起到语义表达、消歧、推理等众多NLP task。

词典库构建

• 词类目划分
• 词属性定义
• 词条目存储
• 自定义词条的实现
• 词条检索

词典库首页

image.png

词典库-展示

中文概念词典.png

情感极性词典.png

网络词库.png

词典库类目

类目划分.png

基于Neo4j的情感类目存储.png

基于Neo4j的词类目展示.png

词条目展示

基于Neo4j词条目存储.png

总结

这是 14年在校所做的基于图的词典库构建,同时在上面进行一些推理，的确是比较好玩, 同时发现哈工大版 大词林,的确是为底层的term赋予啦知识，在任何一个Nlp task中，所扮演的角色都是比较重要的。