论文阅读 CLINE:Contrastive Learning with Semantic Negative Examples for Natural Language Understanding
paper:https://arxiv.org/pdf/2107.00440.pdfcode:https://github.com/kandorm/CLINE文章来自清华大学和腾讯AI实验室ACL2021,中文题目为自然语言理解的语义负样本对比学习。首先还是最近比较热的对比学习,重点关注在语义负样本的构建上。预训练模型虽然有很强的语义表征的能力,但是还是容易受到简单扰动的影响。最近的工作提高预训练