关于nlp-pyltp的基本介绍和使用

一，下载 ltp 模型 ltp_data_v3.4.0、pyltp

1，ltp模型下载地址如下：

https://download.csdn.net/download/TFATS/12758993

2，下载pyltp如下：

pip install pyltp

二，ltp

1，什么是ltp

语言技术平台（Language Technology Platform，LTP）提供了一系列中文自然语言处理工具，用户可以使用这些工具对于中文文本进行分词、词性标注、句法分析等等工作。从应用角度来看，LTP 为用户提供了下列组件：

• 针对单一自然语言处理任务，生成统计机器学习模型的工具
• 针对单一自然语言处理任务，调用模型进行分析的编程接口
• 系统可调用的，用于中文语言处理的模型文件
• 针对单一自然语言处理任务，基于云端的编程接口

LTP 是哈工大社会计算与信息检索研究中心历时十年开发的一整套中文语言处理系统。LTP 制定了基于 XML 的语言处理结果表示，并在此基础上提供了一整套自底向上的丰富而且高效的中文语言处理模块 （包括词法、句法、语义等6项中文处理核心技术），以及基于动态链接库（Dynamic Link Library, DLL）的应用程序接口，可视化工具，并且能够以网络服务（Web Service）的形式进行使用。

LTP 系统框架图如下所示：

2，注意事项

1）注意版本对应

请确保下载的模型版本与当前版本的 pyltp 对应，否则会导致程序无法正确加载模型。

2）注意编码

pyltp 的所有输入的分析文本和输出的结果的编码均为 UTF-8。
如果您以非 UTF-8 编码的文本输入进行分析，结果可能为空。请注意源代码文件的默认编码。
由于 Windows 终端采用 GBK 编码显示，直接输出 pyltp 的分析结果会在终端显示为乱码。您可以将标准输出重定向到文件，以 UTF8 方式查看文件，就可以解决显示乱码的问题。

三，分句子

# 分句子
from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看？我就趴窗口上看呗！')  # 分句
print ('\n'.join(sents))

# -------output--------
元芳你怎么看？
我就趴窗口上看呗！

四，分词

import os
from pyltp import Segmentor

LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

segmentor = Segmentor()  # 初始化实例
segmentor.load(cws_model_path)  # 加载模型
word1 = segmentor.segment('中信建投证券投资有限公司')  # 分词
word2 = segmentor.segment('中信今天投资了一款游戏')  # 分词
print(type(word1))
print ('\t'.join(word1))
print ('\t'.join(word2))
segmentor.release()  # 释放模型

# -------output--------
<class 'pyltp.VectorOfString'>
中信	建投	证券	投资	有限公司
中信	今天	投资	了	一	款	游戏

五，分词-外部词典 （只能处理小于5个字的词典）

1，自定义词典

pyltp 分词支持用户使用自定义词典。分词外部词典本身是一个文本文件（plain text），每行指定一个词，编码同样须为 UTF-8，样例如下所示：

# ./substantive_word.txt
中信建投
资有限公司
一款游戏
一款

2，分词-外部词典

import os
from pyltp import Segmentor

LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

segmentor = Segmentor()  # 初始化实例
segmentor.load_with_lexicon(cws_model_path, './substantive_word.txt') # 加载模型，第二个参数是您的外部词典文件路径
word1 = segmentor.segment('中信建投证券投资有限公司')  # 分词
word2 = segmentor.segment('中信今天投资了一款游戏')  # 分词
print ('\t'.join(word1))
print ('\t'.join(word2))
segmentor.release() # 释放模型

# -------output--------
中信建投	证券	投资	有限公司
中信	今天	投资	了	一款游戏
[INFO] 2020-09-10 13:48:25 loaded 4 lexicon entries

六，使用个性化分词模型 / 同时也可以使用外部词典

1，什么是个性化分词

个性化分词是 LTP 的特色功能。个性化分词为了解决测试数据切换到如小说、财经等不同于新闻领域的领域。 在切换到新领域时，用户只需要标注少量数据。 个性化分词会在原有新闻数据基础之上进行增量训练。 从而达到即利用新闻领域的丰富数据，又兼顾目标领域特殊性的目的。

2，参考文档

pyltp 支持使用用户训练好的个性化模型。关于个性化模型的训练需使用 LTP，详细介绍和训练方法请参考：
https://ltp.readthedocs.io/zh_CN/v3.3.0/train.html
http://ltp.ai/docs/ltp3.x/theory.html

3，个性化分词

import os
LTP_DATA_DIR = '/path/to/your/ltp_data'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import CustomizedSegmentor
customized_segmentor = CustomizedSegmentor()  # 初始化实例
customized_segmentor.load(cws_model_path, '/path/to/your/customized_model') # 加载模型，第二个参数是您的增量模型路径
words = customized_segmentor.segment('亚硝酸盐是一种化学物质')
print '\t'.join(words)
customized_segmentor.release()```

4，个性化分词同时使用外部词典

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model')  # 分词模型路径，模型名称为`cws.model`

from pyltp import CustomizedSegmentor
customized_segmentor = CustomizedSegmentor()  # 初始化实例
customized_segmentor.load_with_lexicon(cws_model_path, '/path/to/your/customized_model', './substantive_word.txt') # 加载模型
words = customized_segmentor.segment('亚硝酸盐是一种化学物质')
print ('\t'.join(words))
customized_segmentor.release()

七，词性标注

1，词性标注

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load(pos_model_path)  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","	今天","投资","了","一款","游戏"]

postags1 = postagger.postag(word1)  # 词性标注
postags2 = postagger.postag(word2)  # 词性标注

print ('\t'.join(postags1))
print ('\t'.join(postags2))

postagger.release()  # 释放模型

# ------output-------------
j	n	v	n
j	nt	v	u	m	n

2，词性标注集

LTP 使用 863 词性标注集，详细请参考 词性标注集 。

八，词性标注 - 外部词典

1，外部词典

pyltp 词性标注同样支持用户的外部词典。词性标注外部词典同样为一个文本文件，每行指定一个词，第一列指定单词，第二列之后指定该词的候选词性（可以有多项，每一项占一列），列与列之间用空格区分。示例如下：

雷人 v a
】 wp

2，词性标注

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model')  # 词性标注模型路径，模型名称为`pos.model`

from pyltp import Postagger
postagger = Postagger() # 初始化实例
postagger.load_with_lexicon(pos_model_path,"./properties_word.txt")  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","	今天","投资","了","一款","游戏"]

postags1 = postagger.postag(word1)  # 词性标注
postags2 = postagger.postag(word2)  # 词性标注

print ('\t'.join(postags1))
print ('\t'.join(postags2))

postagger.release()  # 释放模型

# ------output-------------
j	n	v	n
j	nt	v	u	m	n

九，命名实体识别

1，命名实体识别

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model')  # 命名实体识别模型路径，模型名称为`pos.model`

from pyltp import NamedEntityRecognizer
recognizer = NamedEntityRecognizer() # 初始化实例
recognizer.load(ner_model_path)  # 加载模型

word1 = ["中信建投","证券","投资","有限公司"]
word2 = ["中信","今天","投资","了","一款","游戏"]

postags1  = ["j","n","v","n"]
postags2 = ["j","nt","v","u","m","n"]

netags1 = recognizer.recognize(word1, postags1)  # 命名实体识别
netags2 = recognizer.recognize(word2, postags2)  # 命名实体识别

print('\t'.join(netags1))
print('\t'.join(netags2))
recognizer.release()  # 释放模型

# ------output-------------
B-Ni	I-Ni	I-Ni	E-Ni
O	O	O	O	O	O

2，命名实体识别标注集

LTP 采用 BIESO 标注体系。B 表示实体开始词，I表示实体中间词，E表示实体结束词，S表示单独成实体，O表示不构成命名实体。
LTP 提供的命名实体类型为:人名（Nh）、地名（Ns）、机构名（Ni）。
B、I、E、S位置标签和实体类型标签之间用一个横线 - 相连；O标签后没有类型标签。

详细标注请参考： 命名实体识别标注集

十，依存句法分析

1，依存句法分析

import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径，模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
arcs = parser.parse(words, postags)  # 句法分析

print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release()  # 释放模型

# -----output--------
2:ATT	4:ATT	4:ATT	6:SBV	6:ADV	0:HED	6:RAD	10:ATT	10:ATT	6:VOB

2，依存句法关系附录

arc.head 表示依存弧的父节点词的索引。ROOT节点的索引是0，第一个词开始的索引依次为1、2、3…

arc.relation 表示依存弧的关系。

arc.head 表示依存弧的父节点词的索引，arc.relation 表示依存弧的关系。

标注集请参考： 依存句法关系 。

十一，语义角色标注

1，语义角色标注

# 1）依存句法分析
import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model')  # 依存句法分析模型路径，模型名称为`parser.model`

from pyltp import Parser
parser = Parser() # 初始化实例
parser.load(par_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
arcs = parser.parse(words, postags)  # 句法分析

print ("\t".join("%d:%s" % (arc.head, arc.relation) for arc in arcs))
parser.release()  # 释放模型

# 2）语义角色标注
import os
LTP_DATA_DIR = './ltp_data_v3.4.0'  # ltp模型目录的路径
srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl.model')  # 语义角色标注模型目录路径，模型目录为`srl`。注意该模型路径是一个目录，而不是一个文件。

from pyltp import SementicRoleLabeller
labeller = SementicRoleLabeller() # 初始化实例
labeller.load(srl_model_path)  # 加载模型

words = ['中信建投', '证券', '投资', '有限公司',"今天","投资","了","一款","雷人","游戏"]
postags = ["j","n","v","n","nt","v","u","m","n","n"]
# arcs 使用依存句法分析的结果
roles = labeller.label(words, postags, arcs)  # 语义角色标注

# 打印结果
for role in roles:
    print (role.index, "".join(["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))
labeller.release()  # 释放模型

2，语义角色关系

第一个词开始的索引依次为0、1、2…

返回结果 roles 是关于多个谓词的语义角色分析的结果。由于一句话中可能不含有语义角色，所以结果可能为空。

role.index 代表谓词的索引， role.arguments 代表关于该谓词的若干语义角色。

arg.name 表示语义角色类型，arg.range.start 表示该语义角色起始词位置的索引，arg.range.end 表示该语义角色结束词位置的索引。

例如上面的例子，由于结果输出一行，所以“元芳你怎么看”有一组语义角色。 其谓词索引为3，即“看”。这个谓词有三个语义角色，范围分别是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，类型分别是A0、A0、ADV。

arg.name 表示语义角色关系，arg.range.start 表示起始词位置，arg.range.end 表示结束位置。

标注集请参考 语义角色关系 。