自然语言处理复习

1. 文本分类：新闻分类、垃圾邮件识别、情感分析、意图识别
2. 文本匹配：query-doc搜索、商品检索、QA系统、个性化推荐、智能客服、声纹识别
3. 序列标注：分词、词性标注、命名实体识别、关系抽取、事件抽取、句法分析、句子边界检测、语音识别
4. 文本生成：
   文本到文本的生成：机器翻译、文本摘要、古诗生成、智能对话
   数据到文本的生成：自动撰写
   图像到文本的生成：基于图像问答、看图说话

N-Gram模型，又称N元语法模型，是一种基于统计语言模型的算法。
利用N元语法模型计算句子出现的概率
二元语法模型

1. 定义：one-hot即独立热词，词语被表示成一个维度为词表大小的向量，这个向量中只有一个维度是1其他位置都是0。
2. 优点：能够处理机器学习算法不好处理的离散特征值；在一定程度上增加了特征的维度；将离散型特征使用one-hot编码，可以会让特征之间的距离计算更加合理
3. 缺点：one-hot编码假设单词与单词之间是独立的，无法体现单词与单词的关系远近程度，因此会丢失相关语义信息；每个单词的one-hot编码维度是整个词汇表的大小，维度非常巨大，编码稀疏，会使得计算代价变大；如果原本的标签编码是有序的，那么one-hot编码就会丢失顺序信息

1. 分词:中文任务分词必不可少，一般使用jieba分词，工业界的翘楚
   去停用词:将一些词频较低或者常用的词去掉，减小词典，防止过拟合
2. 词性标注:在分词后判断词性(动词、名词、形容词、副词…)，词性也是一个特征
3. WORD_EMBEDDING:就是word2vec或者glove等。word-embedding作为传统机器学习算法的特征，同时也是深度学习方法必不可少的步骤（深度学习中单字和词的embedding都需要)。
4. TFIDF:提取tfidf文本特征

TF(term frequency)︰词频，某个词在文档中出现的次数，TF越大一般来说越重要
DF (document frequency)︰文档频率，某个词在所有文档中出现的文档数，DF越大表示这词越有可能是常用词，自然也越不重要
IDF (inverse document frequency):逆文档频率，它是DF 的倒数，IDF越大表示该词越少见，也越重要
TF-IDF : TF * IDF，综合了TF和IDF两个因素来平衡词的重要性
计算：