Stanza : A Python Natural Language Processing Toolkit for Many Human Languages

Stanza : A Python Natural Language Processing Toolkit for Many Human Languages

pipline 处理流程
从原始数据获取标注信息，输出token，多单词token说明，词形还原lemmatization，词法学特征标注，语法以来分析，实体识别。
词形还原（Lemmatization）是文本预处理中的重要部分，与词干提取（stemming）很相似。
具体功能说明：
1.tokenizaiton和sentence 分割
这个属于便签任务在学列特征中。这个模块的任务是判断一个给定的character是token的结尾，还是句子的街舞或者是一个multi-word token的结尾。比如说在法语中des 有可能含有两个word de和les。MWTs的任务可以和tokenization的任务一起做，他们都是对于上下文敏感的。
2.多单词token解释
简单说来，词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单词，不同于词干提取（stemming），提取后的单词不一定会出现在单词中。比如，单词“cars”词形还原后的单词为“car”，单词“ate”词形还原后的单词为“eat”
3.POS（partof-speech）词类和词法学特征标注
4.词性还原 did-》do 使用的是基于字典的词形还原器。
5.依赖语法分析
使用双向lstm网络，这个模型有两个特征，一个是预测两个单词的线性顺序，另一个是两个单词间的典型距离。通过这两个特征显著的提高了语法分析的准确性。
6.实体识别
实现在character的层级上进行前向和后向网络的抽取。然后连接每个单词之后将结果给双向lstm和crf。

具体分析的结果如图所示