论文阅读 CLINE：Contrastive Learning with Semantic Negative Examples for Natural Language Understanding

        paper：https://arxiv.org/pdf/2107.00440.pdf

        code：https://github.com/kandorm/CLINE

         文章来自清华大学和腾讯AI实验室ACL2021，中文题目为自然语言理解的语义负样本对比学习。首先还是最近比较热的对比学习，重点关注在语义负样本的构建上。

        预训练模型虽然有很强的语义表征的能力，但是还是容易受到简单扰动的影响。最近的工作提高预训练模型鲁棒性的方法主要是对抗训练（使用经过扰动后的相近语义样本，而忽略了不同或者是相反样本）。nlp领域文本的不连续性，使得局部个别字符变化可能造成语义的重大改变。文章经过实验发现，对抗学习对于语义变化情况无效甚至更差。

        所以文章旨在使用语义负样本的对比学习来提升模型的鲁棒性及敏感性。鲁棒性指的就是对抗样本（细微扰动之后样本的标签不变），而敏感性则指的是对比样本（细微扰动之后样本标签变化）。

        数据：IMDB、SNLI；对比模型：FreeLB（对抗学习的SOTA）。

        CLINE：对抗学习中加入了对比学习，正例通过同义词替换；反例则通过反义词替换或者随机词替换。正反义词来自外部知识WordNet。

        目标函数：MLM目标函数+字符替换目标函数+对比学习目标函数

        实验结果：

           文章方法在各个数据集上，不管是对抗测试集还是对比测试集都好于BERT和RoBERTa。

         消融实验：

        消融实验表明，RTD的损失函数和负样本都带来了一定的模型效果提升，但是负样本带来的提升会更大一些。

        其他实验：文章对模型的语义表征能力也进行了实验。

         Hits评价指标：原问句和正例的相似性>原文句和反例的相似性则记为一次Hit。Hit越高表示模型的句子语义表征能力越强。BS是BertScore的缩写，用于计算bert模型生成向量的评价方法。最近也在做语义表征的工作，这个计算方法可以用上。

        实验表明：文章方法在BERT和RoBERTa分别训练得到的模型都优于baseline模型，且MEAN的效果比CLS的要好，这与SBERT的实验结果一致。并且在BERT模型上的提升特别大，其中的原因可能是BERT的训练不够充分，CLINE可以提高BERT对于语义表示的能力。其中还有一个有趣的结果：BERT的效果要好于RoBRTa，这个其实有点“反常”，因为毕竟RoBERTa:AKA “加强版BERT”。作者对于这个的解释为：由于nsp的存在，bert对于句子级别的表示会更好。

以上。