文本分类对比学习

对比学习在无监督环境下通过自我监督进行表征学习方面取得了显著的成功。然而，有效地使对比学习适应于监督学习任务在实践中仍然是一个挑战。

DUALCL旨在开发一种在有监督的环境下进行对比学习的更自然的方法。在它们的发展中的一个关键见解是，监督表示学习应该包括学习两种量：一种是输入x在适当空间中的特征z，该特征z对于分类任务具有足够的区分性，另一种是该空间上的分类器，或者可替换地，作用于该空间的分类器的参数∈θ；他们将该分类器称为例如x的一个实例分类器。

双重对比学习，但他们认为，也可以将这种学习方案解释为利用一种独特的数据增强方法。具体地说，对于每个示例x，其θ的每一列都可以被视为具有注入的标签信息的特征空间中的x的扩展视图，或者被视为“标签感知的输入表示”。

对比度损失引起的特征信息损失，将该表示映射到应用对比度损失的空间，这提高了原来层的表示的质量。

丢弃是一种强大的、广泛使用的技术，用于规则化深度神经网络的训练。虽然有效且表现良好，但辍学带来的随机性在训练和推理之间造成了不可忽视的不一致。辍学模型的训练阶段和推理阶段存在着不可忽视的不一致，即训练过程中随机抽样的子模型(由于辍学引起)与推理过程中的完整模型(没有辍学)不一致。

R-Drop。具体地说，在每个小批量训练中，每个数据样本经过两次前向遍历，每一遍由不同的子模型通过随机丢弃一些隐含单元来处理。R-Drop通过最小化两分布KL散度，迫使两个子模型输出的同一数据样本的两个分布彼此一致。