自然语言处理算法整理

nlp界神级人物
哥伦比亚大学
约翰霍普金斯大学
nlp知识结构
1.概述
自然语言处理，利用计算机为工具，对书面实行或者口头形式进行各种各样的处理和加工的技术，是研究人与人交际中以及人与计算机交际中的演员问题的一门学科，是人工智能的主要内容。
2.形式语言与自动机
语言：按照一定规律构成的句子或者字符串的有限或者无限集合
描述语言的三种途径：
穷举法
文法（产生式系统）描述
自动机
自然语言不是人为而是自然进化而来
形式语言与自动机基础知识：
集合论
图论
自动机的应用
单词自动差错校正
词性消岐
3.语言模型
通过语料计算某个句子出现的概率，常用2-元模型，3-元模型
语音识别歧义消除例如，
开启自然语言处理的统计方式
统计方式的一般步骤：
收集大量语料
对语料进行统计分析，得出知识
针对场景建立算法模型
解释和应用结果
数据平滑
4.概率图模型，生成模型，与判别模型，贝叶斯网络，马尔科夫与隐马尔可夫模型
最大似然估计法
涉及EM算法
维特比算法
5.马尔科夫网，最大熵模型。条件随机场（crf）
1）HMM三个基本问题的参数估计与计算
2）什么是熵
3）EM算法
4）HMM的应用
5）层次化马尔科夫模型与马尔科夫网络
6）最大熵马尔科夫模型
7）条件随场极其应用
GIS IIS
crf基本问题 特征选取 特征模板 概率计算 参数训练 解码
中文分词，jieba
6.命名实体 词性标注 内容挖掘 语义分析 篇章分析
7.语法分析
8.文本分析，情感分析
文本分类
文本表示
主题模型LDA和PLSA
情感分析
9.信息检索 搜索引擎
10.自动文摘与信息抽取，机器翻译，问答系统
信息抽取模型LDA
11.深度学习在自然语言中的应用
单词表示，比如词向量的训练word2vec
基于CNN,RNN的文本分类
12.nlp用于征信