自然语言处理之POS与依存句法

自然语言处理之POS与依存句法

POS(Part-of-Speech)标注

  POS标注也称词性标注，是对输入文本的每一个词，标注这个词的词性，如名词动词等。示例如下：

Confidence/NN in/IN the/DT pound/NN is/VBZ widely/RB expected/VBN to/TO take/VB another/DT sharp/JJ dive/NN if/IN trade/NN figures/NNS for/IN September/NNP ,/, due/JJ for/IN release/NN tomorrow/NN

  那么怎么实现POS标注呢？目前网络资料上大家基本都写了HMM方法。实际上尽管有很多实现POS标注的方法，但其中HMM方法最为经典，也足够人们使用了。从总体上，这些方法可以分成无监督和有监督的方法，具体如下图所示：

  其中，rule-based方法比较古老。较新的方法使用HMM或机器学习（深度学习），如stanford情感分析工具基于论文Enriching the Knowledge Sources Used in a Maximum Entropy Part-of-Speech Tagger。使用HMM方法，一些较新的论文使用了深度学习方法进行尝试。

依存句法分析(Dependency Parsing)

  相比于词性标注，知道依存句法分析的人数就要少很多了。这主要是因为我们语言学中强调词性成分和语法，但是不直接从词语的依存关系描述句子。依存句法通过分析语言单位内成分之前的依存关系解释其句法结构，主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配，所有受支配成分都以某种关系从属于支配者。
  依存关系可以被认为是词与词之间有指向的修饰关系，如主谓关系、动宾关系等。具体关系的介绍可以见依存关系分析用户手册或其他博文介绍。
  国内哈工大LTP提供依存句法分析的接口。应用效果如下：

  依存句法分析器(Parser)的实现方法有多种，其中主要包括：

1. Graph based parser, MSTParser (McDonaldand & Pereira 2006)
2. Rule based parser (Manning 2006)
3. Transition based parser + neural network (Manning & Chen, 2014)
4. Manning是真的大佬