英语文本处理工具库2 — spaCy

网易云课堂AI工程师(自然语言处理)学习笔记,接上一篇《英文文本处理工具库1 — NLTK》。


1. spaCy简介

英语文本处理工具库2 — spaCy_第1张图片
spaCy
spaCy是Python和Cython中的高级自然语言处理库,它建立在最新的研究基础之上,从一开始就设计用于实际产品。

spaCy 带有预先训练的统计模型和单词向量,目前支持 34+语言的标记(暂不支持中文)。它具有世界上速度最快的句法分析器,用于标签的卷积神经网络模型,解析和命名实体识别以及与深度学习整合。

2. spaCy与NLTK的对比

英语文本处理工具库2 — spaCy_第2张图片
image.png

3. spaCy安装

windows + Anoconda环境,使用conda命令安装比较方便:

conda config --add channels conda-forge
conda install spacy
python -m spacy download en

参考:Windows下在anaconda环境中安装自然语言处理工具---Spacy

4. spaCy基本操作

(1)英文Tokenization(标记化/分词)

import spacy
nlp = spacy.load('en')

doc = nlp('Hello! My name is LittleTree!')
print("分词如下:")
for token in doc:
    print(token.text)

print("\n断句如下:")
for sent in doc.sents:
    print(sent)
英语文本处理工具库2 — spaCy_第3张图片
输出

每个token对象有着非常丰富的属性,如下的方式可以取出其中的部分属性。

doc = nlp("Next week I'll be in SZ.")
for token in doc:
    print("{0}\t{1}\t{2}\t{3}\t{4}\t{5}\t{6}\t{7}".format(
        token.text,
        token.idx,
        token.lemma_,
        token.is_punct,
        token.is_space,
        token.shape_,
        token.pos_,
        token.tag_
    ))
英语文本处理工具库2 — spaCy_第4张图片
输出

(2)词性标注

doc = nlp("Next week I'll be in Shanghai.")
print([(token.text, token.tag_) for token in doc])

输出:
[('Next', 'JJ'), ('week', 'NN'), ('I', 'PRP'), ("'ll", 'MD'), ('be', 'VB'), ('in', 'IN'), ('Shanghai', 'NNP'), ('.', '.')]

(3)命名实体识别

doc = nlp("Next week I'll be in Shanghai.")
for ent in doc.ents:
    print(ent.text, ent.label_)

输出:
Next week DATE
Shanghai GPE

还可以用非常漂亮的可视化做显示:

from spacy import displacy

displacy.render(doc, style='ent', jupyter=True)
输出

(4)chunking/组块分析

spaCy可以自动检测名词短语,并输出根(root)词,比如下面的"Journal","piece","currencies".

doc = nlp("Wall Street Journal just published an interesting piece on crypto currencies")
for chunk in doc.noun_chunks:
    print(chunk.text, chunk.label_, chunk.root.text)
输出

(5)句法依存解析

doc = nlp('Wall Street Journal just published an interesting piece on crypto currencies')
 
for token in doc:
    print("{0}/{1} <--{2}-- {3}/{4}".format(
        token.text, token.tag_, token.dep_, token.head.text, token.head.tag_))
英语文本处理工具库2 — spaCy_第5张图片
输出

(6)词向量使用

NLP中有一个非常强大的文本表示学习方法叫做word2vec,通过词的上下文学习到词语的稠密向量化表示,同时在这个表示形态下,语义相关的词在向量空间中会比较接近。也有类似v(爷爷)-v(奶奶) ≈ v(男人)-v(女人)的关系。

关于词向量的详细内容,请参考吴恩达序列模型第二课自然语言处理与词嵌入

在spaCy中,要使用英文的词向量,需先下载预先训练好的结果,终端命令如下:

python3 -m spacy download en_core_web_lg

下面我们使用词向量来做一些有趣的事情。

nlp = spacy.load('en_core_web_lg')
from scipy import spatial

# 余弦相似度计算
cosine_similarity = lambda x, y: 1 - spatial.distance.cosine(x, y)

# 男人、女人、国王、女王 的词向量
man = nlp.vocab['man'].vector
woman = nlp.vocab['woman'].vector
queen = nlp.vocab['queen'].vector
king = nlp.vocab['king'].vector
 
# 我们对向量做一个简单的计算,"man" - "woman" + "queen"
maybe_king = man - woman + queen
computed_similarities = []

# 扫描整个词库的词向量做比对,召回最接近的词向量
for word in nlp.vocab:
    if not word.has_vector:
        continue
 
    similarity = cosine_similarity(maybe_king, word.vector)
    computed_similarities.append((word, similarity))

# 排序与最接近结果展示
computed_similarities = sorted(computed_similarities, key=lambda item: -item[1])
print([w[0].text for w in computed_similarities[:10]])

输出:
['Queen', 'QUEEN', 'queen', 'King', 'KING', 'king', 'KIng', 'Kings', 'KINGS', 'kings']

(7)词汇与文本相似度

在词向量的基础上,spaCy提供了从词到文档的相似度计算的方法,下面的例子是它的使用方法。

# 词汇语义相似度(关联性)
banana = nlp.vocab['banana']
dog = nlp.vocab['dog']
fruit = nlp.vocab['fruit']
animal = nlp.vocab['animal']
 
print(dog.similarity(animal), dog.similarity(fruit)) # 0.6618534 0.23552845
print(banana.similarity(fruit), banana.similarity(animal)) # 0.67148364 0.2427285
# 文本语义相似度(关联性)
target = nlp("Cats are beautiful animals.")
 
doc1 = nlp("Dogs are awesome.")
doc2 = nlp("Some gorgeous creatures are felines.")
doc3 = nlp("Dolphins are swimming mammals.")
 
print(target.similarity(doc1))  # 0.8901765218466683
print(target.similarity(doc2))  # 0.9115828449161616
print(target.similarity(doc3))  # 0.7822956752876101

持续更新中,要不要点个小❤❤鼓励鼓励我(✿◡‿◡)

你可能感兴趣的:(英语文本处理工具库2 — spaCy)