Introduction

作者认为好的word representation模型应该同时兼顾两个问题：一是词语用法在语义和语法上的复杂特点；二是随着语言环境的改变，这些用法也应该随之改变。作者提出了deep contextualized word representation方法来解决以上两个问题。

这种算法的特点是：每一个word representation都是整个输入语句的函数。具体做法就是先在大语料上以language model为目标训练出bidirectional LSTM模型，然后利用LSTM产生词语的表征。ELMo故而得名(Embeddings from Language Models)。为了应用在下游的NLP任务中，一般先利用下游任务的语料库(注意这里忽略掉label)进行language model的微调,这种微调相当于一种domain transfer; 然后才利用label的信息进行supervised learning。

ELMo表征是“深”的，就是说它们是biLM的所有层的内部表征的函数。这样做的好处是能够产生丰富的词语表征。高层的LSTM的状态可以捕捉词语意义中和语境相关的那方面的特征(比如可以用来做语义的消歧)，而低层的LSTM可以找到语法方面的特征(比如可以做词性标注)。如果把它们结合在一起，在下游的NLP任务中会体现优势。

Bidirectional language models

ELMo顾名思义是从Language Models得来的embeddings，确切的说是来自于Bidirectional language models。具体可以表示为：
$\begin{aligned} p \left( t _ { 1 } , t _ { 2 } , \ldots , t _ { N } \right) &= \prod _ { k = 1 } ^ { N } p \left( t _ { k } | t _ { 1 } , t _ { 2 } , \ldots , t _ { k - 1 } \right) \\ p \left( t _ { 1 } , t _ { 2 } , \ldots , t _ { N } \right) &= \prod _ { k = 1 } ^ { N } p \left( t _ { k } | t _ { k + 1 } , t _ { k + 2 } , \ldots , t _ { N } \right) \end{aligned}$

其中是一系列的tokens。
ELMo采用多层Bi-LSTM来构建语言模型。
假设输入的token的词向量表示为，在每一个位置，每一层LSTM上都输出相应上下文相关的表示，表示LSTM的层数。LSTM的最后一层输出通过softmax层来预测下一个token，
目标是最大化以下似然：

$\sum _ { k = 1 } ^ { N } \left( \log p \left( t _ { k } | t _ { 1 } , \ldots , t _ { k - 1 } ; \Theta _ { x } , \stackrel { \rightarrow }{ \Theta } _ { L S T M } , \Theta _ { s } \right)\right. + \log p \left( t _ { k } | t _ { k + 1 } , \ldots , t _ { N } ; \Theta _ { x } , \stackrel { \leftarrow }{ \Theta } _ { L S T M } , \Theta _ { s } \right) )$
其中，代表token embedding，代表softmax layer的参数。

ELMo

对于每一个token，一个层的biLM要计算出共个representaions：
$\begin{aligned} R _ { k } & = \left\{ \mathrm { x } _ { k } ^ { L M } , \stackrel { \rightarrow }{ \mathbf {h} } _ { k , j } ^ { L M } , \stackrel { \leftarrow }{ \mathbf {h} } _ { k , j } ^ { L M } | j = 1 , \ldots , L \right\} \\ & = \left\{ \mathbf { h } _ { k , j } ^ { L M } | j = 0 , \ldots , L \right\} \end{aligned}$
其中表示的是token embedding layer，而其余Bi-LSTM层中，
对于下游的具体任务，ELMo把所有层的压缩在一起形成一个单独的vector：
$\mathbf { E } \mathbf { L } \mathbf { M } \mathbf { o } _ { k } ^ { task} = E \left( R _ { k } ; \Theta ^ { \operatorname { tas } k } \right) = \gamma ^ { t a s k } \sum _ { j = 0 } ^ { L } s _ { j } ^ { t a s k } \mathbf { h } _ { k , j } ^ { L M }$
其中是softmax-normalized的权重，而则允许任务模型对ELMo向量进行缩放。

对于一个supervised NLP任务，使用ElMo生成word representation可以分以下三步:

pre-train biLM模型。模型由两层bi-LSTM组成，之间用residual connection连接起来。
在任务语料上(注意是语料，忽略label)fine tuning上一步得到的biLM模型。可以把这一步看为biLM的domain transfer。
利用ELMo的word embedding来对任务进行训练。通常的做法是把它们作为输入加到已有的模型中，一般能够明显的提高原模型的表现。

Deep contextualized word representations (ELMo)

Introduction

Bidirectional language models

ELMo

你可能感兴趣的:(Deep contextualized word representations (ELMo))