WXK+ 分布外鲁邦 AugMax: Adversarial Composition of Random Augmentations for Robust Training

读NIPS 2021论文 AugMax: Adversarial Composition of Random Augmentations for Robust Training

摘要

数据增强是提高鲁棒性的一个简单有效之法。diversity和hardness是数据增强的两大需要考量的分支。AugMix使用多种的增强方法来加强收敛，而对抗训练通过生成困难的对抗样本来spot the weakness。由此启示，作者提出AugMax来统一多样性和困难性，具体是先随机多种增强算子，然后learn an adverdarial mixture of 这些算子。因为这样的数据增强，网络的训练也变得困难，于是作者又提出了一个特殊的正则化方法，Dual-Batch-and-Instance（DuBIN）。实验显示所提出的数据增强和正则化，能提高out-of-distribution的鲁棒性。

介绍

提高ood的鲁棒性的目前的方法有 including robust data augmentation [5, 3, 8, 6], Lipschitz continuity [9–11], stability training [12], pre-training [13–16], and robust network structures [17–19], to name a few.

其中数据增强是经验上最有效的，容易实现，计算难度低，即插即用。

数据增强分成两大类，分别关于多样性，和困难性。

1）第一种数据增强，提高多样性。传统的方法有旋转，平移等等，但是这些方法无法增强对抗鲁棒性。AugMix是一种更好的数据增强，它从多种增强方法中随机采样，然后综合采样出来的增强方法。

AugMix论文 AugMix: A simple data processing method to improve robustness and uncertainty. ICLR 2020

2）第二种数据增强，提高困难性。即从worst-case种采样数据，例如使用对抗样本，使用PGD的对抗训练。但是这样会增加计算复杂度，训练时间往往增加十倍以上。

相关工作

分三个小节。

1. OOD的鲁棒性

2. 数据增强 随机 和 对抗训练

3. 正则化方法

略

方法

AugMax

<