AutoML论文笔记（十一）Adversarial AutoAugment：对抗性自动数据增强

文章题目：Adversarial AutoAugment

链接：link https://arxiv.org/abs/1912.11188

会议期刊：ICLR 2020

论文内容

论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。
　人类设计的数据增强需要很多领域的专家知识，不同领域不能迁移；而AutoAugment对算力要求太高，代理任务和目标任务之间有比较大的维度鸿沟。
本文利用GAN的思想做数据增强，在ImageNet数据集上比AutoAugment减少12倍的算力，降低11倍的训练时间。玩一个最大最小的游戏：一个生成对抗性的增强策略，尽量使得搜索过程的训练loss变大；一个学习更多的预处理特征，使得loss变小。类似于一个生成器，一个判别器。

　AutoAugment的子网络是从头开始训练的，训练和验证的算力不能呗重复利用，本文为了加速，重用了之前的计算（Replay Buffer）；虽然是借鉴GAN的思想，但是不是合成新的图片，而是找到最优的策略，在全部数据集中，不同的策略平行训练，增强策略在训练过程中是动态变化的，避免了偏差。
　最大最小公式如下：
　
　
　作者在训练的时候发现，在训练后期，对形状的变换比对颜色的变换更容易被选中
　
　采用该方法，ImageNet在没有额外数据的情况下，Resnet能到80%的精度。