2018 · NIPS · Learned in Translation: Contextualized Word Vectors

2018 · NIPS · Learned in Translation: Contextualized Word Vectors

想法来源：从CV中借鉴的想法，深层的神经网络权重初始化问题，可以提升最后的表现性能。

价值：在通用的NLP任务中提高最后的表现。

方法：训练好的机器翻译的encoder(BiLSTM)，作为上下文编码器，结合Glove向量作为表示，扔到downstream任务里。

缺点：task specific，大多还是利用了下游任务的模型表现。

详细方案：
训练好一个翻译模型的encoder，用这个encoder编码单词表示。拼接glove向量

-c350

下游任务还是利用各自的模型，比如分类，利用率a-o-a模型和self att, max, mean, min pooling。QA利用了Dynamic Coattention Network (DCN)

数据集：

1. smallest MT dataset comes from the WMT 2016 multi-modal translation shared task
2. largest MT dataset WMT 2017
3. medium-sized MT dataset Spoken Language Translation 2016
4. Stanford Sentiment Treebank (SST)
5. IMDb dataset
6. small TREC dataset
7. Stanford Natural Language Inference Corpus (SNLI)
8. SQuAD

实验：

分类：

-c400

-c400

QA:

-c400