论文笔记：Learning Data Augmentation Strategies for Object Detection

研究背景

1.当前的数据增强都是从分类任务引入的，但是分类任务的增强不一定适用检测任务。
2.当变换的数量越来越庞大的时候，就很难手动把它们有效组合到一起了。就要用机器学习，搜索出更适合目标检测任务的组合策略。
3.由于目标检测数据的标记成本比图像分类更高，数据增强策略在有限数据的情况下除了能提高模型表现同时还能节省数据成本。

研究方法

对于目标检测来说通常需要考虑目标框(bounding box, bbox)与变换后图像连续性，研究人员针对bbox内部的图像提出了一系列变换，同时探索了图像整体变化时如何调整bbox的策略。通过定义一系列子策略集和多个图像操作变换，最终将这一问题归结为离散空间中的优化问题来进行求解。

22种有利于检测的数据增强方法：
1.颜色操作:针对图像的颜色通道进行操作，包括直方图均衡、对比图调整和亮度调整等;
2.几何操作:对于图像进行几何变换，包括位置变换，bbox的大小和位置、旋转、剪切变换等，需要指出的是在进行几何变换时需要对bbox进行调整;
3.bbox操作:仅针对bbox内部的内容进行操作，而不改变外部的背景，可以综合使用前面的颜色和几何变换。

步骤：
1.定义为K个子策略的无序集合，在训练时从中随机选取策略对图像进行数据增强。
2.每一个策略则包含了N个图像变换，这些图像变换将依次作用于被增强的数据，研究的目的在于从中搜索出最有效的策略。每种操作有两个超参数(概率, 以及幅值).
3.为每个操作的幅值关联一个自定义的参数值范围，并将此范围映射到0到10的标准范围。将运算的概率离散化为L个均匀空间值，将运算的概率离散化为M个均匀空间值。
4.每个策略需要搜索的空间包含(22LM)^{2，而五个策略对应的空间为(22*6*6)}10≈9.6*10^18。

实现：
采用了基于RNN输出空间表示离散值，同时利用RL算法（强化学习）来更新模型权重。其中PPO(proximal policy optimization)近端策略优化被用于搜索策略。RNN每次需要进行30步来预测输出，这来自于5个子策略，每个子策略两个操作，每个操作包含概率、幅度和操作本身三个参数，其乘积即为30。

实例：

学习增强子策略的示例。 应用于一个示例图像的学习子策略的5个示例。每列对应于相应子策略的不同随机样本。增强子策略的每个步骤包括对应于操作的三元组，应用、概率和幅度测量。 调整边界框以保持与应用的增强的一致性。概率和幅度是离散值。

相关概念：
RL：强化学习
强化学习是机器学习的一个分支，相较于机器学习经典的有监督学习、无监督学习问题，强化学习最大的特点是在交互中学习（Learning from Interaction）。Agent在与环境的交互中根据获得的奖励或惩罚不断的学习知识，更加适应环境。RL学习的范式非常类似于我们人类学习知识的过程，也正因此，RL被视为实现通用AI重要途径。
特点：
无特定数据，只有奖励信号
奖励信号不一定实时
主要研究时间序列的数据，而不是独立同分布的数据
当前行为影响后续数据

PPO:近端策略优化

相对而言，监督学习是很容易的，我们只要实现一个价值函数，对此采用梯度下降法，几乎不用做什么进一步的参数调优就能很骄傲地宣称自己得到了一个很优秀的训练结果。可惜的是，在增强学习中这一切并不会如此简单——增强学习的算法有着太多难以调试的可变部分，我们必须花费大把的精力才能得到一个良好的训练结果。而为了平衡易于实现、样本复杂度以及易于优化这几个问题，并力求在每一次收敛步骤中都得到策略更新，同时保证与之前的策略偏差相对较小，我们必须寻找一种新的优化方法，这就是PPO算法。

RNN：循环神经网络
RNN是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种’记忆’功能.
RNN之所以称为循环神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

x是输入，h是隐层单元，o为输出，L为损失函数，y为训练集的标签。这些元素右上角带的t代表t时刻的状态，其中需要注意的是，因策单元h在t时刻的表现不仅由此刻的输入决定，还受t时刻之前时刻的影响。V、W、U是权值，同一类型的权连接权值相同。

实验内容

算法通过验证集的测试得到最多的图像增强操作是**旋转操作，同时图像均衡化和bbox在Y方向上的平移操作也是排名较为靠前的操作。**研究人员首先将学习到的策略进行了整体评测，在Res-Net和RetinaNet检测器上都实现了较大幅度的提升:

为了探索哪些操作对于目标检测算法带来的优势较大，研究人员将增强操作拆解成了颜色、几何与bbox相关操作，并分别测试了对于基准网络的提升，下表显示了不同操作叠加下对于目标检测性能的影响：

不同模型下数据增强策略的有效性：

用于训练数据增强策略数据集的大小对于目标检测算法提升的效果：
结论：随着训练数据的增加，数据增强的效果逐渐减弱。

针对小数据集和小物体的检测：

结论：这种方法针对小数据集和小物体的检测却具有明显的效果。这意味着数据增强策略帮助算法学习到了bbox位置出更细粒度的空间细节特征，这也同时改善了小物体的检测性能。

在改进模型正则化方面，研究人员发现了训练数据大的情况下损失会提升，同时随着数据量的增加L2会变小，数据增强策略进一步减少了权重的衰减。研究人员发现在使用有效数据增强策略的同时，就不需要正则化技术来帮助网络更好的训练了。


相关链接：
论文下载地址