ELMo 原理解析

本文首发于我的个人博客:Sui Xin’s Blog
原文:https://suixinblog.cn/2019/09/elmo.html
作者:Sui Xin

ELMo (Embeddings from Language Models) 是一个深度上下文相关的词嵌入语言模型。运用了多层双向 LSTM 编码器。
论文:Deep contextualized word representations

模型架构

ELMo 原理解析_第1张图片
整体上,ELMo 采用了多层双向 LSTM 编码器(上图为双层)构建语言模型,最终取各层 LSTM 的 hidden state 与初始的 word embedding 构成下游任务的输入。

Bi-LSTM LM

前向的语言模型为:
p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t 1 , t 2 , … , t k − 1 ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right) p(t1,t2,,tN)=k=1Np(tkt1,t2,,tk1)
后向的语言模型为:
p ( t 1 , t 2 , … , t N ) = ∏ k = 1 N p ( t k ∣ t k + 1 , t k + 2 , … , t N ) p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right) p(t1,t2,,tN)=k=1Np(tktk+1,tk+2,,tN)
最终的语言模型极大似然函数为:
∑ k = 1 N ( log ⁡ p ( t k ∣ t 1 , … , t k − 1 ; Θ x , Θ ⃗ L S T M , Θ s ) + log ⁡ p ( t k ∣ t k + 1 , … , t N ; Θ x , Θ ← L S T M , Θ s ) ) \begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.}{\left.+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow \Theta_{L S T M}, \Theta_{s}\right)\right)}\end{array} k=1N(logp(tkt1,,tk1;Θx,Θ LSTM,Θs)+logp(tktk+1,,tN;Θx,Θ LSTM,Θs))
其中, Θ x \Theta_{x} Θx 是 token 表示层的参数, Θ s \Theta_{s} Θs 是 softmax 层的参数,这两个参数在前向和后向的语言模型中是共享的,只有 LSTM 的参数不同。

ELMo

对于一个 token t k t_k tk L L L 层的 Bi-LSTM 可以得到 2 L + 1 2L+1 2L+1 个表示,最终通过拼接得到 L + 1 L+1 L+1 个特征:
R k = { x k L M , h → k , j L M , h ← k , j L M ∣ j = 1 , … , L } = { h k , j L M ∣ j = 0 , … , L } \begin{aligned} R_{k} &=\left\{\mathbf{x}_{k}^{L M}, \overrightarrow{\mathbf{h}}_{k, j}^{L M}, \overleftarrow{\mathbf{h}}_{k, j}^{L M} | j=1, \ldots, L\right\} \\ &=\left\{\mathbf{h}_{k, j}^{L M} | j=0, \ldots, L\right\} \end{aligned} Rk={xkLM,h k,jLM,h k,jLMj=1,,L}={hk,jLMj=0,,L}
其中, h k , 0 L M = [ x k L M ; x k L M ] \mathbf{h}_{k, 0}^{L M}=[\mathbf{x}_{k}^{L M}; \mathbf{x}_{k}^{L M}] hk,0LM=[xkLM;xkLM] 是 token embedding 重复拼接得到的向量, h k , j L M = [ h → k , j L M ; h ← k , j L M ] \mathbf{h}_{k, j}^{L M}=[\overrightarrow{\mathbf{h}}_{k, j}^{L M}; \overleftarrow{\mathbf{h}}_{k, j}^{L M}] hk,jLM=[h k,jLM;h k,jLM] 是双向的 LSTM 层 hidden state 拼接得到的向量。
对于下游的监督学习任务,一般的做法是直接取 LSTM 最顶层的 hidden state 作为特征,但 ELMo 认为模型不同层学到的是不同的信息,所以应该对得到的 L + 1 L+1 L+1 个特征计算一个加权组合:
E L M o k t a s k = E ( R k ; Θ t a s k ) = γ t a s k ∑ j = 0 L s j t a s k h k , j L M \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}=E\left(R_{k} ; \Theta^{t a s k}\right)=\gamma^{t a s k} \sum_{j=0}^{L} s_{j}^{t a s k} \mathbf{h}_{k, j}^{L M} ELMoktask=E(Rk;Θtask)=γtaskj=0Lsjtaskhk,jLM
其中, s j t a s k s_{j}^{t a s k} sjtask 是一个 softmax 归一化的权重系数,用于指示每一层应该放置多少关注度, γ t a s k \gamma^{t a s k} γtask 是一个全局的缩放系数,实验证明其非常重要。

下游任务使用

对于一部分任务,将原始的嵌入向量和 ELMo 加权向量拼接即可作为下游任务的特征: [ x k ; E L M o k t a s k ] \left[\mathbf{x}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right] [xk;ELMoktask]
对于一部分任务,将 LSTM 某些中间层的嵌入向量和 ELMo 加权向量拼接可提升效果: [ h k ; E L M o k t a s k ] \left[\mathbf{h}_{k} ; \mathbf{E} \mathbf{L} \mathbf{M} \mathbf{o}_{k}^{t a s k}\right] [hk;ELMoktask]
某些情况下,在下游任务中 fine-tuning 可极大的提升效果。

模型特点

优势

  • 上下文相关的 contextual 语言模型:减轻一词多义的影响;
  • 双向编码语言模型;
  • 模型深。
  • 不同的层捕获到不同的自然语言信息:较低层捕获到语法信息,较高层捕获到语义信息。

缺点

  • 是伪的双向模型;
  • 特征抽取器为 LSTM 而不是更强的 Transformer。

参考

官方网址:https://allennlp.org/elmo
官方 GitHub:https://github.com/allenai/bilm-tf

你可能感兴趣的:(NLP,Deep,Learning)