CLEAR: Contrastive Learning for Sentence Representation

Abstract

• 大多数已有的预训练语言模型集中于 word-level 的训练目标，而 sentence-level 的目标则很少被研究。
• 我们提出 Contrastive LEArning for sentence Representation (CLEAR)，使用了多种句子级别的增强策略, 包括对 word 和 span 的：
  • deletion
  • reordering
  • substitution
• 在 SentEval 和 GLUE benchmark 上超过多个已有方法

1 Introduction

对比学习中的一个关键方法是在训练时对正样本进行增强。而对文本增强的方式不像对图像增强那么硕果累累，对图像可以可以容易地通过几种方式进行增强 (Chen et al., 2020)：

• rotating
• cropping
• resizing
• cutouting
  

而在 NLP 领域，数据增强的研究却很少 (Giorgi et al., 2020;