第7章 从文本提取信息
开头三问:
1.我们如何能构建一个系统,从非结构化文本中提取结构化数据?
2.有哪些稳健的方法识别一个文本中描述的实体和关系?
3.哪些语料库适合这项工作,我们如何使用它们来训练和评估我们的模型?
整体流程:
分句->分词->词性标注->分块->实体识别->信息抽取->查询
先做分句->分词->词性标注:
1 import nltk 2 import re 3 import pprint 4 5 def ie_preprocess(document): 6 sentences = nltk.sent_tokenize(document) 7 sentences = [nltk.word_tokenize(sent) for sent in sentences] 8 sentences = [nltk.pos_tag(sent) for sent in sentences] 9 return sentences 10 11 if __name__ == '__main__': 12 mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.' 13 print ie_preprocess(mystr) 14
结果如下:
[[('My', 'PRP$'), ('name', 'NN'), ('is', 'VBZ'), ('freeze', 'NN'), (',', ','), ('i', 'PRP'), ('like', 'VBP'), ('coding', 'VBG'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('in', 'IN'), ('hangzhou', 'NN'), ('now', 'RB'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('from', 'IN'), ('USTC', 'NNP'), ('.', '.')]]
分块:
名词短语分块即NP分块,NP分块往往是一个比较完整的名词短语的小片段。
为了得到一个NP块,我们需要定义它的模式,假设一个NP块是由一个PRP或PRP$开头 最后由一个NN或NNP结尾。
1 if __name__ == '__main__': 2 mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.' 3 sentences = ie_preprocess(mystr) 4 grammar = "NP: {<PRP|PRP\$><.*>*<NN|NNP>}" 5 cp = nltk.RegexpParser(grammar) 6 for sentence in sentences: 7 result = cp.parse(sentence) 8 for subtree in result.subtrees(): 9 if subtree.node == 'NP': 10 print subtree
结果:
(NP My/PRP$ name/NN is/VBZ freeze/NN)
(NP I/PRP am/VBP in/IN hangzhou/NN)
(NP I/PRP am/VBP from/IN USTC/NNP)
注:result的type是<class 'nltk.tree.Tree'>
有时词性标记不足以确定一个句子应如何分块。此时需要使用词的内容信息作为词性标记的补充。
实体识别:
文中指出使用基于词典的实体识别会产生很多问题。首先是词的限制,其次是词的多义性。
比较好的方法是第6章中提到的分类器。
关系抽取:
一旦识别出块中的实体,我们就可以提取出(x,a,y)形式的三元组,其中x,y是指定类型的命名实体,a是表示他们之间的关系。
然后我们就可以进行查找了。