自然语言处理 | (1)自然语言处理科普

这一节对于自然语言处理的整个领域做一个科普小结(时间节点:2020年11月18日)

自然语言处理初探

1.1 自然语言处理的早期发展史

1.2 21世纪的里程碑事件

基于神经网络的语言模型

多任务学习

词向量

RNN及其变种

Seq2seq

注意力机制

2.自然语言处理的挑战

2.1 词义消歧(Word Sense Disambiguation)

2.2指代消解(Anaphora Resolution)

Zero Anaphora Resolution 零指代消解

Coreference Resolution 共指消解

2.3上下文理解

2.4 语义和语用不对等

 

3.自然语言处理领域

3.1 医疗

3.2教育

3.3媒体

3.4金融

3.5法律

 

4.自然语言处理的常见工具

4.1 基础任务工具包

词形还原(Lemmatization)

词性标注(Part-of-Speech Tagging)

分词(Word Segmentation)

命名实体识别(Name Entity Recognition)

句法分析(Syntactic Analysis)

以上是几种基础的任务

常用工具如下(时间节点,2020年11月18日)

NLTK

Spacy:

Stanford CoreNLP:基于Java

LTP:哈工大,中文处理系统,影响最大

Polyglot:情感分析,性能不行

Pattern

HanLP:基于Java,很强

FNLP:复旦大学,性能有待提高

jieba:简单上手,工业应用

 

4.2 科学计算机及机器学习框架

Numpy

Scipy

Pandas

matplotlib

Shogun

scikit-learn

Gensim

mlpack

MLlib

 

4.3深度学习框架

Theano

TensorFlow

Caffe

Keras:新手入门

Pytorch:最热门

MXNet

CNTK

paddlePaddle:百度出品

建议从Keras开始入门

 

以上参考书籍为《胡盼盼-自然语言处理从入门到实践》

 

 

 

你可能感兴趣的:(自然语言处理)