论文笔记：The Effectiveness of Data Augmentation in Image Classification using Deep Learning

摘要

论文探索并比较了多种解决方案用来解决图像分类中的数据增强问题,旨在研究数据扩充的有效性。它将通过使用传统数据扩充技术(比如裁剪、旋转)或者现代意义上讲得GAN(CycleGAN)，还提出了一种通过神经网络学习改进分类器的增强的方法，称之为神经增强。

前言

深度学习和机器学习的有效性离不开数据，神经网络可以从数据中获益，基于文本的模型因谷歌语料库的发布而受益。作者认为对于如此庞大的非结构化数据集，任务变成了在大量的非结构化数据找到结构化的模式，对有结构化的数据集进行扩充是一种可行的方法。接着，介绍了图像和视频分类任务数据量的缺乏性原因，探索图像分类任务中的数据增强技术。最后，作者介绍了他们将要进行的实验数据集。如MNIST、和小图像数据。简单介绍了实验步骤，传统数据增强方法，CycleGAN, neural net.

相关工作

数据集样本量少不能很好地拟合真实数据的情况，训练模型运用小样本数据集会出现过拟合的问题，这一节回顾了一些常用的防止过度拟合的方法。介绍了增加正则化项(l1,l2正则化)、dropout、批量归一化（batch normalization） 和迁移学习等方法。此外，作者给出了数据增强技术的简单描述，如几何或色彩增强。(主要是仿射变换)。以及如何训练GAN的基本描述。

实验方法

作者将采取两种不同的方法。
a)在训练分类器之前进行数据扩充(使用GAN或仿射变换)
传统数据增强：对于每个输入图像，我们生成一个“复制”图像，移动、放大/缩小、旋转、翻转、扭曲或，有色调的图像，把原始图像和经过仿射变换的图像都输入到神经网络中，大小为N的数据集扩充一倍到2N。

GAN：对于每个输入图像，我们从6种不同样式的子集中选择一种样式图像：塞尚、增强、莫奈、浮世绘、梵高和温特。

b)在分类器网络中使用预先的神经网络来实时扩充数据
增强网络，来自同一个类的两张图像作为输入，和单个图像大小相同的layer作为输出。该层被视为“增强”图像。然后，将增强图像和原始输入图像传送到第二个网络分类网络。损失函数=分类损失+增强损失（增强网络输出的图像和原始图像的相似度的损失）
对于增强网络的需求，他们创建了一个小型的5层CNN网络（3层卷积层+2层全连接层），并使用各种损失函数来训练网络。1内容损失，2风格缺失，3无损失。

实验数据

作者对三个数据集进行了实验研究。（其中两个数据集来自 tiny-imagenet-200，第一个数据集由狗/猫的图像组成，第二个数据集由狗/金鱼的图像组成，第三个数据集来自MNIST数据集。）

网络结构

本实验使用了两种网络，分别是分类网络(SmallNet)和增强网络(Augmentation Network)。


网络结构：

损失函数：
L=αLc+ βLa
损失函数由两部分组成，分类损失+增强损失。
分类损失：SmallNet的sigmod损失函数。
增强损失：
在图像增强后，作者引入了三种损失函数。实际上是两个，因为最后的损失函数根本不是损失函数。
第一个损失是内容损失，增强图像和目标图像之间的损失，其项D为增强图像和目标图像的长度。

第二个损失是风格损失格拉姆矩阵在增强图像和目标图像之间的损失。其项C为通道数。

第三个损失是无损失。

实验结果

作者指出，增强网络似乎从两幅图像中提取了一些关键特征，同时优化了背景像素。

结论

使用更复杂的网络进行分类和增强是值得的。并指出与传统的图像增强方法相比，GAN或神经增强具有较好的增强效果，且耗时较短。迁移学习也可以用于处理样本不平衡的情况。