【笔记二】飞浆-基于深度学习的自然语言处理

• 词法分析技术及其应用

词法分析概况

词法分析技术

词表换算到概率计算

RNN　可以保证序列标注的关联性

序列标注的三个基本模型：
（１）隐马尔可夫模型 HMM（Hidden Markov Model）
（２）最大熵马尔可夫模型 MEMM （Maximum Entropy Markov Model）
（３）条件随机场 CRF （Conditinal Random Field）


因为RNN存在梯度消失或梯度爆炸的问题，因此采用Bi-LSTM
OOV的意思是未登陆词(Out of Vocabulary),也可以称作新词