HMM与LTP词性标注之LTP介绍

文章目录

  • LTP
  • 牛刀小试

HMM与LTP词性标注之LTP介绍_第1张图片
HMM与LTP词性标注之LTP介绍_第2张图片
HMM与LTP词性标注之LTP介绍_第3张图片
HMM与LTP词性标注之LTP介绍_第4张图片
HMM与LTP词性标注之LTP介绍_第5张图片
HMM与LTP词性标注之LTP介绍_第6张图片
上图缺点:参数太多,中文语料库匮乏

注意力机制,相当于给每一个词赋予一个权重,权重越大的越重要。
HMM与LTP词性标注之LTP介绍_第7张图片

bert的缺点:神经元太多,较慢。

LTP

如果只是需要做词性的识别,那么用LTP就可以了,由哈工大自主研发。
HMM与LTP词性标注之LTP介绍_第8张图片
主页:http://ltp.ai/index.html

HMM与LTP词性标注之LTP介绍_第9张图片
HMM与LTP词性标注之LTP介绍_第10张图片

HMM与LTP词性标注之LTP介绍_第11张图片

HMM与LTP词性标注之LTP介绍_第12张图片
HMM与LTP词性标注之LTP介绍_第13张图片
HMM与LTP词性标注之LTP介绍_第14张图片
HMM与LTP词性标注之LTP介绍_第15张图片
HMM与LTP词性标注之LTP介绍_第16张图片
HMM与LTP词性标注之LTP介绍_第17张图片

HMM与LTP词性标注之LTP介绍_第18张图片
目前python主要用LTP,目前已经发展到4.0的版本。

牛刀小试

在最后一个章节,就用LTP完成词性标注、包括分词,最后再把它整合成图谱,通过python自动插入到xxx中去,完成这么一系列的操作,

HMM与LTP词性标注之LTP介绍_第19张图片

from ltp import LTP

ltp = LTP()

result = ltp.pipeline(["他叫汤姆去拿外衣。"], tasks=["cws", "pos"])
print(result.cws)
print(result.pos)

输出:

[['他', '叫', '汤姆', '去', '拿', '外衣', '。']]
[['r', 'v', 'nh', 'v', 'v', 'n', 'wp']]

你可能感兴趣的:(#,1.,自然语言处理&知识图谱,人工智能)