【数据增强】综述：A survey on Image Data Augmentation for Deep Learning

 主体部分来自论文《A survey on Image Data Augmentation for Deep Learning》，新增了一些近年的论文。

我认为问题的根本在于模型学习了数据中的bias。一个过拟合的模型会去学习数据中存在的bias，如人脸识别中的position bias，或是普遍存在的lighting bias等。在风格迁移中，会称为不同的domain，如白天/夜晚，雨天/晴天等。解决问题有两个思路：

1. 模型本身。控制模型的复杂度，使得模型去学习general而不是special的特征。比如通过dropout，使得模型不要太依赖一些局部特征，通过batch normalization，得到稳定的分布，避免复杂的函数去拟合。

2. 数据，打破数据中的偏见。比如风格迁移添加黑夜黄昏的图片等。

但在对抗攻击中我们会发现，图片小的改变就可能导致结果的巨变，这说明我们很难通过穷举所有的domain去让模型专注目标本身。因此我觉得Mixup类思路很巧妙，通过线性按比例相加生成新的图片和标签，让数据去“线性化”模型，使得模型尽可能简单。

我们的根本目标是让模型专注于目标的特征，而不是背景：避免模型复杂化（Mixup和cutout类算法，可以把避免模型过拟合的方法迁移过来）和减少数据bias。