GHM------Gradient Harmonized Single-stage Detector 从梯度的方向来解决样本不均衡的问题

最近GHM太热门了，因此最近在做GHM的实验，因此做个笔记。

文章：https://arxiv.org/pdf/1811.05181.pdf

code：https://github.com/libuyu/GHM_Detection

介绍GHM之前，先提一下

Focal loss：

精辟的介绍Focal loss

Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。

Focal loss做了什么：

在二分类交叉熵前面加了权重，而权重由输出的概率经过是一些计算得到，最终实现概率小的loss比较大，优化力度大，概率大的loss偏小，从而对于比较多的简单背景给小的loss，让少学习简单样本，多学习复杂样本。

但Focal loss比较麻烦的就是有两个超参数，调起来比较麻烦。

 

GHM：（Gradient Harmonizing Mechanism）梯度均衡机制

研究者对样本不均衡的本质影响进行了进一步探讨，找到了梯度分布这个更为深入的角度，并以此入手改进了单阶段检测器的训练过程。 

在单阶段检测器的训练中，简单样本的数量非常大，它们产生的累计贡献就在模型更新中就会有巨大的影响力甚至占据主导作用，而由于它们本身已经被模型很好的判别，所以这部分的参数更新并不会改善模型的判断能力，也就使整个训练变得低效。

基于这一点，研究者对样本梯度的分布进行了统计，并根据这个分布设计了一个梯度均衡机制（Gradient Harmonizing mechanism），使得模型训练更加高效与稳健，并可以收敛到更好的结果（实验中取得了好于 Focal Loss 的表现）。

由于梯度均衡本质上是对不同样本产生的梯度进行一个加权，进而改变它们的贡献量，而这个权重加在损失函数上也可以达到同样的效果，此研究中，梯度均衡机制便是通过重构损失函数来实现的。

Focal Loss 本质上是对简单样本进行相对的抑制，越简单的样本受抑制的程度越大，这一点和 GHM-C 所做的均衡是十分相似的。此外，GHM-C 还对一些离群样本进行了相对的抑制，这可以使得模型训练更具稳定性。

关于GHM比较好的解读：

https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/86581671