2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS

2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS ·

想法来源：文章从分布式假说和这些工作中得到灵感，将预测输入句上下文的问题重构为一个分类问题，提出了一种简单高效的句子表示学习框架：给定一个句子和它出现的上下文，分类器根据其向量表示将它从一系列对比句中挑选出来。

价值：对比Skip thought，在性能上提升了很多，performance也有提升

方法：那原本的decoder问题，改造成了一个分类问题。

缺点：计算成本过高。

详细方案：
Origin skip thought:

image

This paper

image

image

image

数据集：
1.BookCorpus dataset
2.UMBC

实验：

1. downstream task
   1.1 无监督方法

   
   
   image

1.2 有监督方法

image

2. 图像

image

3. 最近邻case

   
   
   image