pyltp实现NER以及实体统计
pyltp实现NER以及实体统计
人工智能火热，NLP技术也蓬勃发展，今天主要讲述NLP中的一项基础任务NER的实现。
首先介绍一下NER（命名实体识别，Named-entity recognition）是NLP的一项子任务，旨在实现从文本中抽取实体，实体一般包括：人名，地名，机构名，数量表达式，时间表达式等。在特定的领域，实体也会有所差异，比如：生物医学，研究实体就可以是药名，病名。
目标：实现基础的NER需要得到实体种类下的实体。
借助工具：哈工大LTP
哈工大LTP
怎么去使用LTP？
python3.6+pyltp+ltp_data_v3.4.0
（1）pyltp的使用
a.配置好相应的python环境
b.安装pytlp(命令行:pip install pyltp)，安装超时可以镜像下载或者下载好wheel文件本地安装
c.下载模型文件，我使用的版本为ltp_data_v3.4.0，下载地址：模型下载地址
（2）实现NER
准备工作做好后，我们就可以选取测试文本，实现NER，代码如下：
#write by heheyang
# -*- coding: utf-8 -*-
import os
from pyltp import *
LTP_DATA='ltpdata path'#LTPdata的根目录
# 分词
def wordscut(text):
segmentor = Segmentor() # 初始化
wordscut_model_path = os.path.join(LTP_DATA, 'cws.model')
segmentor.load(wordscut_model_path) # 加载模型
words = segmentor.segment(text) # 分词
words_list = list(words) # 转换成list
segmentor.release() # 释放模型
return words_list
#词性标注
def post_tag(words):
postag = Postagger()# 初始化
pos_tag_model_path = os.path.join(LTP_DATA, 'pos.model')
postag.load(pos_tag_model_path) # 加载模型
postags = postag.postag(words) # 词性标注
postag.release() # 释放模型
return postags
# 命名实体识别
def ner(words, tags):
ner_temp = NamedEntityRecognizer()# 初始化
ner_model_path = os.path.join(LTP_DATA, 'ner.model')
ner_temp.load(ner_model_path) # 加载模型
netags = ner_temp.recognize(words, tags) # 命名实体识别
for word, ntag in zip(words, netags):
nertemp = word + ',' + ntag
print(nertemp, end=" | ") #结构性输出
ner_temp.release() # 释放模型
return netags
f=open('textpath','r')
wordstemp=f.read()
words = wordscut(wordstemp) #分词
tags = post_tag(words) #词性标注
netags = ner(words, tags) #命名实体识别
程序执行结果如下：
我们可以看到程序已经对各个词汇进行了标注，有关LTP的命名实体识别的标注含义：Nh-人名，Ni-机构名，Ns-地名
如果想要获得实体列表，就可以从对NER的结果进行程序统计筛选，代码如下：
#write by heheyang
#实体统计
import re
def ner_count(wordtags):
ne_list=[]
wordtemp=""
word_tags=wordtags.split("|")
for wordtag in word_tags:
ne=[]
word_tag=wordtag.split(",")
if len(word_tag)==2 and word_tag[1]!="O":
if re.findall("^(B|I)+",word_tag[1]):
wordtemp+=word_tag[0] #同一实体的组合
elif re.findall("^E+",word_tag[1]):
wordtemp+=word_tag[0]
tag=re.findall(r"-(.+)",word_tag[1]) #提取实体类型
ne.append(wordtemp)
ne.append(tag[0])
wordtemp=""
elif re.findall("^S+",word_tag[1]):
tag=re.findall(r"-(.+)",word_tag[1])
ne.append(word_tag[0])
ne.append(tag[0])
if len(ne)!=0:
ne_list.append(ne)#实体词汇汇总
return ne_list
print(ner_count(ner(words, tags)))#打印出实体列表
结果如图：
以上完成了pyltp实现NER以及实体统计，最终得到文本的实体列表。
这也算是小白入门，自己整理较久的一篇博客，起初设想的是把几个NLP工具放在一块写的，但是由于时间等原因，最后决定还是分开来写。
欢迎大家的批评指正，多多交流，多多学习。