《论文阅读》R-Drop:Regularized Dropout for Neural Network

时间：2021/10/29

收录：35th Conference on Neural Information Processing Systems(NeurIPS 2021)

类型：简单方法提高模型的泛化能力

---

摘要：

Dropout 是一种强大且广泛使用的技术，用于规范深度神经网络的训练。虽然有效且表现良好，但 dropout 引入的随机性会导致训练和推理之间存在不可忽略的不一致。在本文中，我们引入了一种简单的一致性训练策略来正则化 dropout，即 R-Drop，它迫使 dropout 生成的不同子模型的输出分布相互一致。具体来说，对于每个训练样本，R-Drop 最小化了通过 dropout 采样的两个子模型的输出分布之间的双向 KL 散度。理论分析表明，R-Drop 减少了上述不一致性。对 5 个广泛使用的深度学习任务（共 18 个数据集）的实验，包括神经机器翻译、抽象摘要、语言理解、语言建模和图像分类，表明 R-Drop 是普遍有效的。特别是，当应用于微调大型预训练模型（例如 ViT、RoBERTa-large 和 BART）时，它产生了显着改进，并通过 vanilla Transformer 模型实现了最先进的 (SOTA) 性能在 WMT14 英语→德语翻译 (30.91 BLEU) 和 WMT14 英语→法语翻译 (43.95 BLEU) 上，甚至超过了使用超大规模数据训练的模型和专家设计的 Transformer 模型的高级变体。我们的代码在 GitHub2 上可用。

效果：