ELMo 原理解析

本文首发于我的个人博客：Sui Xin's Blog
原文：https://suixinblog.cn/2019/09/elmo.html
作者：Sui Xin

ELMo (Embeddings from Language Models) 是一个深度上下文相关的词嵌入语言模型。运用了多层双向 LSTM 编码器。
论文：Deep contextualized word representations

模型架构

ELMo

整体上，ELMo 采用了多层双向 LSTM 编码器（上图为双层）构建语言模型，最终取各层 LSTM 的 hidden state 与初始的 word embedding 构成下游任务的输入。

Bi-LSTM LM

前向的语言模型为：

后向的语言模型为：

最终的语言模型极大似然函数为：
$\begin{array}{l}{\sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.}{\left.+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow \Theta_{L S T M}, \Theta_{s}\right)\right)}\end{array}$
其中，是 token 表示层的参数，是 softmax 层的参数，这两个参数在前向和后向的语言模型中是共享的，只有 LSTM 的参数不同。

ELMo

对于一个 token ，层的 Bi-LSTM 可以得到个表示，最终通过拼接得到个特征：
$\begin{aligned} R_{k} &=\left\{\mathbf{x}_{k}^{L M}, \overrightarrow{\mathbf{h}}_{k, j}^{L M}, \overleftarrow{\mathbf{h}}_{k, j}^{L M} | j=1, \ldots, L\right\} \\ &=\left\{\mathbf{h}_{k, j}^{L M} | j=0, \ldots, L\right\} \end{aligned}$
其中，是 token embedding 重复拼接得到的向量，是双向的 LSTM 层 hidden state 拼接得到的向量。
对于下游的监督学习任务，一般的做法是直接取 LSTM 最顶层的 hidden state 作为特征，但 ELMo 认为模型不同层学到的是不同的信息，所以应该对得到的个特征计算一个加权组合：

其中，是一个 softmax 归一化的权重系数，用于指示每一层应该放置多少关注度，是一个全局的缩放系数，实验证明其非常重要。

下游任务使用

对于一部分任务，将原始的嵌入向量和 ELMo 加权向量拼接即可作为下游任务的特征：
对于一部分任务，将 LSTM 某些中间层的嵌入向量和 ELMo 加权向量拼接可提升效果：
某些情况下，在下游任务中 fine-tuning 可极大的提升效果。

模型特点

优势

上下文相关的 contextual 语言模型：减轻一词多义的影响；
双向编码语言模型；
模型深。
不同的层捕获到不同的自然语言信息：较低层捕获到语法信息，较高层捕获到语义信息。

缺点

是伪的双向模型；
特征抽取器为 LSTM 而不是更强的 Transformer。

参考

官方网址：https://allennlp.org/elmo
官方 GitHub：https://github.com/allenai/bilm-tf

ELMo 原理解析

模型架构

Bi-LSTM LM

ELMo

下游任务使用

模型特点

优势

缺点

参考

你可能感兴趣的:(ELMo 原理解析)