AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)daiding

 AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)

目录

NLP是什么？

1、NLP前置技术解析

2、python中NLP技术相关库

3、NLP案例实践

3.1、机器翻译

3.2、语音识别(Automatic Speech Recognition)

3.3、中文分词

3.4、词件标注与命名实体识别

3.5、关键词提取算法

3.6、句法分析

3.7、文本向量化

3.8、文本分类

3.9、情感分析技术

3.10、Solr搜索引擎

3.11、NLP中常用的机器学习算法

3.12、NLP中常用的深度学习算法

NLP的经典案例

1、基础案例

2、进阶案例

---

NLP是什么？

NLP是一门融语言学、计算机科学、数学于一体的科学。主要内容包括如下：

• 如何用NLP与语言学的关键概念来描述和分析语言 
• NLP中的数学结构和算法是如何实现的
• 自然语言处理目前主流的技术与方法论
• 信息检索技术与大数据应用

推荐文章
NLP：自然语言处理技术的简介、发展历史、案例应用之详细攻略
Paper之ACL&EMNLP：2009年~2019年ACL计算语言学协会年会&EMNLP自然语言处理的经验方法会议历年最佳论文简介及其解读
NLP：《NLP Year in Review 2019&NLP_2019_Highlights》2019年自然语言处理领域重要进展回顾及其解读
Dataset：数据集集合(NLP方向数据集)——常见的自然语言处理数据集大集合(建议收藏，持续更新)

1、NLP前置技术解析

搭建Python开发环境
正则表达式在NLP中的基本应用
Numpy使用详解

2、python中NLP技术相关库

• word2vec
• nltk
• jieba

Py之SnowNLP：SnowNLP中文处理包的简介、安装、使用方法、代码实现之详细攻略
NLP之word2vec：word2vec简介、安装、使用方法之详细攻略

3、NLP案例实践

3.1、机器翻译

3.2、语音识别(Automatic Speech Recognition)

NLP之ASR：语音识别技术(Automatic Speech Recognition)的简介、发展历史、案例应用之详细攻略
NLP之ASR：基于pyaudio利用python进行语音生成、语音识别总结及其案例详细攻略
NLP之ASR：基于python和机器学习算法带你玩转的语音实时识别技术

3.3、中文分词

中文分词简介

• 规则分词
• 统计分词
• 混合分词

中文分词工具—Jieba

3.4、词件标注与命名实体识别

词性标注
命名实体识别
实体识别(NER)

3.5、关键词提取算法

摘要提取
关键词提取技术概述
TF/IDF
TextRank
LSA/LSI/LDA算法
实战提取文本关键词

推荐文章
NLP：基于textrank4zh库对文本实现提取文本关键词、文本关键短语和文本摘要
NLP：基于snownlp库对文本实现提取文本关键词和文本摘要
NLP：基于nltk和jieba库对文本实现提取文本摘要(两种方法实现：top_n_summary和mean_scored_summary)

 

3.6、句法分析

文本分析
句法分析概述
句法分析的常用方法
使用Stanford Parser的PCFG算法进行句法分析

3.7、文本向量化

文本向量化概述
向量化算法woed2vec
向量化算法doc2vec、str2vec
网页文本向量化

推荐文章
NLP：利用DictVectorizer对使用字典存储的数据进行特征抽取与向量化
NLP之word2vec：利用 Wikipedia Text(中文维基百科)语料+Word2vec工具来训练简体中文词向量

3.8、文本分类

如：垃圾邮件分类、情感分析。

3.9、情感分析技术

情感分析应用
情感分析基本方法
实战电影评论情感分析

推荐文章
NLP之TEA：自然语言处理之文本情感分析的简介、算法、应用、实现流程方法、案例应用之详细攻略
NLP之情感分析：基于python编程(jieba库)实现中文文本情感分析(得到的是情感评分)

3.10、Solr搜索引擎

全文检索的原理
Solr简介与部署
Solr后台管理描述
配置Schema
Solr管理索引库

3.11、NLP中常用的机器学习算法

分类器方法
无监督学习的文本聚类
文本分类：中文垃圾邮件分类
文本聚类：用k-means对豆瓣读书数据聚类

推荐文章
NLP之TM之LDA：利用LDA算法瞬时掌握文档的主题内容—利用希拉里邮件数据集训练LDA模型并对新文本进行主题分类

3.12、NLP中常用的深度学习算法

神经网络模型
多输出层模型
反向传播算法
最优化算法
丢弃法
激活函数
实现BP算法
词嵌入算法
训练词向量实践
朴素Vanilla-RNN
LSTM网络
Attention机制
Seq2Seq模型
图模型
深度学习平台
问答机器人

推荐文章
NLP之WE之CBOW&Skip-Gram：CBOW&Skip-Gram算法概念相关论文、原理配图、关键步骤之详细攻略
NLP之WE之Skip-Gram：基于TF利用Skip-Gram模型实现词嵌入并进行可视化、过程全记录

 

NLP的经典案例

1、基础案例

NLP：两种方法(自定义函数和封装函数)实现提取两人对话内容(***分隔txt文档)，并各自保存为txt文档
NLP之TopicModel：朴素贝叶斯NB的先验概率之Dirichlet分布的应用
NLP之TM：基于gensim库调用20newsgr学习doc-topic分布并保存为train-svm-lda.txt、test-svm-lda.txt
NLP之TFTS读入数据：TF之TFTS读入时间序列数据的几种方法
NLP之WordCloud：基于jieba+matplotlib库对一段文本生成词云图~~情人节最好的礼物(给你一张过去的词云图，看看那时我们的爱情)

2、进阶案例

NLP之TEA：基于SnowNLP实现自然语言处理之对输入文本进行情感分析(分词→词性标注→拼音&简繁转换→情感分析→测试)
ML之NB：(NLP)基于sklearn库利用不同语种数据集训练NB(朴素贝叶斯)算法，对新语种进行语种检测
NLP之BoW&NLTK：自然语言处理中常用的技术——词袋法Bow、NLTK库
NLP之词向量：利用word2vec对20类新闻文本数据集进行词向量训练、测试(某个单词的相关词汇)
NLP之NB&GBT：基于朴素贝叶斯(count/tfidf+网格搜索+4fCrva)、梯度提升树(w2c+网格搜索+4fCrva)算法对IMDB影评数据集进行文本情感分析(情感二分类预测)
NLP：NLP领域没有最强，只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略