2018 · ACL · Exploring Semantic Properties of Sentence Embeddings

2018 · ACL · Exploring Semantic Properties of Sentence Embeddings

想法来源：探索性实验性质文章。

价值：可以看出模型到底可以学习了什么。

方法：探索了修改句子成分，让模型判断是否是同一个意思。

缺点：

详细方案：

1. 几种句子修改方法；
   • 反义：not
   • 反义：there is no
   • 同义替换
   • 去除从句
   • 改成被动形式
   • 调换主语顺序
   • 绕轴旋转
2. 几种embedding表示方案
   • GloVe Averaging
   • Concatenated P-Mean Embeddings
   • Sent2Vec
   • Skip-Thought
   • InferSent

数据集：
自己构造数据集
每个sample由三个句子组成：original ， Synonym-Substitution sentences， Not-Negated

实验：

前面三列是cosine相似度

-c400

-c400

-c400

-c400

-c400

所以，可以看出这几种句子表示方法，都没法理解句子的深层意思，抓住句子的核心不同。只能作为记忆模型，记忆句子的大体模型。