自然语言处理复习提纲

规则方法

• 规则与程序分离, 程序依据规则解释语言.
• 词素
  • 英语形态还原
  • 汉语分词 tokenization / segmentation
    • 最大匹配 (正向 / 逆向 / 双向消歧.)
    • 最大最小匹配 (发现歧义)
    • 全切分 / 最大可能切分
• 词性标注
  • 规则方法 (词典+规则+消歧)

语言模型

高维稀疏

• Zipf Law
  • frequency * rank = constant
• 特征选择
  • 互信息
• 零概率平滑
  • add count $\hat{p}(w)=\frac{c(w)+d}{Z+|\Sigma |d}$
  • laplace smoothing $\hat{p}(w_t,w_{t-1})=\frac{c(w_t,w_{t-1})+d\hat{p}(w_t)}{Z+d}$   (回退)
  • linear interpolation $\hat{p}(w_t|w_{t-2},w_{t-1})={\lambda }_{2}p(w_t|w_{t-2},w_{t-1})+{\lambda }_{1}p(w_t|w_{t-1})+{\lambda }_{0}p(w_t)$
• 评价指标
  • 困惑度 Perplexity $p(x_{1:T}{)}^{-\frac{1}{T}}=\sqrt[T]{\frac{1}{p(x_{1:T})}}$

生成模型

• Naive Bayes
  • $\arg \underset{y}{\max }p(y|x)=\arg \underset{y}{\max }\frac{p(x|y)p(y)}{p(x)}=\arg \underset{y}{\max }p(x|y)p(y)$
  • $p(x|y)=\frac{(\sum _{\sigma \in \Sigma }{x}_{\sigma })!}{\prod _{\sigma \in \Sigma }{x}_{\sigma }}\prod _{\sigma \in \Sigma }(p(\sigma |y){)}^{x_{\sigma }}$   (⚠ $\left(\genfrac{}{}{0ex}{}{\sum _{\sigma \in \Sigma }{x}_{\sigma }}{\{x_{\sigma }{\}}_{\sigma \in \Sigma }}\right)=\frac{(\sum _{\sigma \in \Sigma }{x}_{\sigma })!}{\prod _{\sigma \in \Sigma }{x}_{\sigma }}$ 消去顺序性)
  • $p(y)=\frac{M_y}{\sum _{y\in Y}{M}_y}$
  • $p(\sigma |y)=\frac{N_{y\sigma }}{\sum _{\sigma \in \Sigma }{N}_{y\sigma }}$

马尔可夫

• n阶马尔可夫性质 / n gram
  • $p(x_{1:T})=\prod _{t=1}^{T}p(x_t|x_{t-n:t-1})$
  • 频率估计概率
  • 参数化概率, 极大似然估计参数.

神经网络

• Bengio 2003
  • $z=C{x}_{1:T}$
  • $y=b+Wz+U\tanh (d+Hx)$
  • $\ell =\log y+\Vert \theta \Vert$

文本分类

文本表示

• BOW (bag of words)
  • ${\Sigma }^{\ast }\to {\mathbb{R}}^{|\Sigma |}$
  • Bernoulli
  • Multinomial
  • tfidf
    • tf = 文中词语出现次数 / 文中出现次数最多的词语的出现次数
    • df = 出现词语文章个数 / 文章个数
    • tfidf = tf * log( 1/ df )   (log, 弱化df, 强化tf.)
• n gram BOW
• Latent Semantic Index
  • $X=\left[\begin{array}{ccc}|& & |\\ x_1& \cdots & x_m\\ |& & |\end{array}\right]=U\Sigma V^T$
  • $x^{\prime }={\Sigma }^{-1}{U}^{T}x$

线性判别

• 特征工程 $\psi (x,y)$
• 学习权重 $p(x,y)=\frac{1}{Z}\exp (w^T\psi (x,y))$

序列化标注 (一种简单的序列转导)

任务示例

• 词性标注 POS Tagging
• 命名实体识别 NER

隐马尔可夫解码 (维特比算法)

• ${\alpha }_t(n)=\mathrm{Pr}(o_{1:t},q_t=n|\theta )$
• ${\beta }_t(n)=\mathrm{Pr}(o_{t+1:T}|q_t=n,\theta )$
• ${\gamma }_t(n)=\frac{1}{Z}{\alpha }_t(n){\beta }_t(n)$

• ${\delta }_t(n)=\underset{q_{1:t-1}}{\max }\mathrm{Pr}(o_{1:T},q_{1:t-1},q_t=n|\theta )=\underset{q_{1:t-1}}{\max }\mathrm{Pr}(o_{1:t},q_{1:t-1},q_t=n|\theta )$   (陷入定点最大得分)
  1. ${\delta }_1(n)=\pi (n)E(n\mapsto o_1)$
  2. ${\psi }_1(n)=\varnothing$
  3. ${\delta }_{t+1}(n)=\underset{q_t}{\max }{\delta }_t(q_t)T(q_t\to n)E(n\mapsto o_{t+1})$
  4. ${\psi }_{t+1}(n)=\arg \underset{q_t}{\max }{\delta }_t(q_t)T(q_t\to n)\sout{E(n\mapsto o_{t+1})}$
  5. $q_T^{\ast }=\arg \underset{q_T}{\max }{\delta }_T(q_T)$
  6. $q_{t-1}={\psi }_t(q_t)$

条件随机场 (线性判别)

• $\mathrm{Pr}(y|x)=\frac{1}{Z}\exp (w^T\psi (x,y))$
  ${\psi }_k(x,y)={\psi }_k(y_{t-1},y_t,x,t)$
• 通过最大化对数似然训练参数.

神经网络

• RNN, LSTM, GRU.
• BERT.   (Attention, Transformer.)

句法分析

• 乔姆斯基范式
  $X\to YZ$, $X$, $Y$, $Z$, 均为非终结符号.
  $X\to \sigma$, $X$为终结符号.
• CYK算法
  对角线, 终结符号.
  距离对角线1的次对角线, 规约2次到达终结符号.
  距离对角线d的次对角线, 规约d次到达终结符号.

A X X K L
  B F H X
    C X X
      D G
        E

BC ~ F
DE ~ G
FD ~ H
AH ~ K
KE ~ L # 如果 KG ~ L, 那么 D 既属于 K 又属于 G.

神经网络

分布表示

• word2vec CBOW (Continuous Bag of Words)
  • $\mathrm{Pr}(w_i|w_o;V,U)=\frac{1}{Z}\exp (v_i^T{u}_o)$   ($i=\{t\}$, $o=\{t-w,\cdots ,t-1,t+1,\cdots ,t+w\}$.)
  • $\mathrm{Pr}(w_i|w_o;V,U)=\sigma (v_i^T{u}_o)\sigma (-v_i^t{u}_{\ast })$   (Negative Sampling)
• word2vec Skip Gram
  • $\mathrm{Pr}(w_o|w_i;V,U)$
• GloVe
  • $J=F_{ij}(v_i^T{v}_j+b_i+b_j-\log F_{ij}{)}^2$

神经网络

• 框架结构
  • $J=\mathrm{C}\mathrm{E}(\mathrm{S}\mathrm{M}(f,y))$
  • 链式法则计算梯度
  • 更新梯度   (ReLU, 残差连接, clip.)
• RNN
  • $h_t=f(W^x{x}_t+W^h{h}_{t-1}+b)$
  • Teacher Forcing
  • Bi RNN
  • Stacked RNN (Deep RNN)
• LSTM
  $\begin{array}{rl}{g}_t=& \tanh (W_x^g{x}_t+W_h^g{h}_{t-1}+b^g)\\ i_t=& \sigma (W_x^i{x}_t+W_h^i{h}_{t-1}+b^i)\\ f_t=& \sigma (W_x^f{x}_t+W_h^f{h}_{t-1}+b^f)\\ c_t=& f_t\odot c_{t-1}+i_t\odot g_t\\ o_t=& \sigma (W_x^o{x}_t+W_h^o{h}_{t-1}+b^o)\\ h_t=& o_t\odot \tanh (c_t)\end{array}$
  $\frac{\partial c_t}{\partial c_{t-1}}=f_t+(c_{t-1}\frac{\partial f_t}{\partial h_{t-1}}+i_t\frac{\partial g_t}{\partial h_{t-1}}+g_t\frac{\partial i_t}{\partial h_{t-1}})\frac{\partial h_{t-1}}{\partial c_{t-1}}$
• Transformer (Attention)
  $\begin{array}{rlrl}{z}^{(0)}& =[P{x}_1\cdots P{x}_N]+Q_{\mathrm{p}\mathrm{o}\mathrm{s}}& & P\in {\mathbb{R}}^{N\times D}{Q}_{\mathrm{p}\mathrm{o}\mathrm{s}}\in {\mathbb{R}}^{N\times D}\\ {\hat{z}}^{(\ell +1)}& =\mathrm{M}\mathrm{S}\mathrm{A}(\mathrm{L}\mathrm{N}(z^{(\ell )}))+z^{(\ell )}& & \ell =0\cdots (L-1)\\ z^{(\ell +1)}& =\mathrm{M}\mathrm{L}\mathrm{P}(\mathrm{L}\mathrm{N}(z^{(\ell )}))+z^{(\ell )}& & \ell =0\cdots (L-1)\end{array}$
  $\mathrm{S}\mathrm{A}(x)=\sigma (Q^{T}K\cdot M)V$
  • Layer Normalization
  • Residual Connections
• 预训练模型
  • ELMo (BiLSTM)
  • BERT (Transformer Encoder) (Masked Language Model / Next Sentence Prediction)

机器翻译

• IBM Noisy Channel
  • $\arg \underset{y}{\max }p(y|x)=\arg \underset{y}{\max }p(y)p(x|y)$   (语言模型+翻译模型)
  • $p(y)=\prod _{t=1}^{T}p(y_t|y_{1:t-1})$
  • $p(x|y)=\sum _{a}p(x,a|y)$
  • $p(x,a|y)=p(L|y)\prod _{l=1}^{L}p(a_l|a_{1:l-1},x_{l-1},L,y)p(x_l|a_{1:l},x_{l-1},L,y)$   (长度模型+对齐模型+词汇模型)
  • $p(L|y)=c$, $p(a_l|a_{1:l-1},x_{l-1},L,y)=\frac{1}{T}$, $p(x_l|a_{1:l},x_{l-1},L,y)=p(x_l|y_{a_l})$.
  • $p(x,a|y)=\frac{c}{T^L}\prod _{l=1}^{L}p(x_l|y_{a_l})$
  • $p(x|y)=\frac{c}{T^L}\prod _{l=1}^L\sum _{t=1}^{T}p(x_l|y_t)$
• beam search 解码   (保留一定数量的前沿元素)
• BLEU
  • $p_n=\frac{\sum _f\sum _{g_n\in f}{C}_y(g_n)}{\sum _f\sum _{g_n\in f}C(g_n)}$
  • $\mathrm{B}\mathrm{P}=\{\begin{array}{ll}1& L_f⩾L_y\\ \exp (1-\frac{L_y}{L_f})& L_f<L_y\end{array}$
  • $\mathrm{B}\mathrm{L}\mathrm{E}\mathrm{U}=\mathrm{B}\mathrm{P}{p}_1{p}_2{p}_3{p}_4$