Synonyms:一个开源的中文近义词工具包

作者:Synonyms 项目的作者胡小夕是北京邮电大学研究生,目前实习于今日头条 AI LAB。从事自然语言处理方向研究,在智能客服,知识图谱等领域都有相关研究开发经验。

工具包技术说明:该中文近义词工具包采用的基本技术是 Word2vec。

Synonyms 的安装十分便捷,我们可以直接使用命令 pip install -U synonyms 完成。该工具包兼容 Python 2 和 Python 3。

 Synonyms 采用的词向量维度为 100。

用法

输出近义词向量:

Synonyms:一个开源的中文近义词工具包_第1张图片

synonyms.nearby(WORD) 会返回一个包含两项的列表:

[[nearby_words], [nearby_words_score]],nearby_words 是 WORD 的近义词向量,也以列表的方式存储,并且按照距离的长度由近及远排列,nearby_words_score 是 nearby_words 中对应词的距离分数,分数在 (0-1) 区间内,越接近于 1,代表越相近。

两个句子的相似度比较:
Synonyms:一个开源的中文近义词工具包_第2张图片

其中,参数 seg 表示 synonyms.compare 是否对sen1和sen2进行分词,默认为 True。返回值:[0-1],并且越接近于1代表两个句子越相似。

以友好的方式打印近义词,方便调试,display调用了synonyms#nearby方法:

Synonyms:一个开源的中文近义词工具包_第3张图片

你可能感兴趣的:(Synonyms:一个开源的中文近义词工具包)