Wise-IoU论文个人理解

论文地址：Wise-IoU: Bounding Box Regression Loss with Dynamic Focusing Mechanism 这个是论文作者自己写的博客 论文的introduciton和related work可以细看作者的博客或者论文

论文代码: github代码

论文目的

近年来的研究大多假设训练数据中的示例有较高的质量，致力于强化边界框损失的拟合能力。但我们注意到目标检测训练集中含有低质量示例，如果一味地强化边界框对低质量示例的回归，显然会危害模型检测性能的提升。
动态非单调聚焦机制使用“离群度”替代 IoU 对锚框进行质量评估，并提供了明智的梯度增益分配策略。该策略在降低高质量锚框的竞争力的同时，也减小了低质量示例产生的有害梯度。

为什么要降低高质量锚框的竞争力(通义千问)

在目标检测任务中，降低高质量锚框的竞争力通常是为了应对以下问题：

1. 难例学习：在某些情况下，物体的形状、大小、姿态或者与背景的融合程度使得其难以精确检测。这些难例可能对应于IoU较低的锚框。如果过度强调高质量锚框，模型可能会过于依赖这些易于分类的样本，而忽视了对难例的学习。通过降低高质量锚框的竞争力，模型可以更好地关注和学习这些难例，从而提高整体检测性能。

2. 过拟合：如果模型过于关注高质量锚框，它可能会过快地收敛到这些样本的局部最优解，导致在未见过的数据上的泛化性能下降。通过降低高质量锚框的竞争力，可以促使模型更全面地学习各种类型的锚框，从而提高泛化能力。

论文工作

论文涉及的聚焦机制有如下：

• 静态：当边界框的 IoU 为某一指定值时有最高的梯度增益，如 Focal EIoU v1
• 动态：享有最高梯度增益的边界框的条件处于动态变化中，如 WIoU v3
• 单调：梯度增益随损失值的增加而单调增加，如 Focal loss
• 非单调：梯度增益随损失值的增加呈非单调变化

论文贡献:

• 提出了WIoU v1，在仿真实验中达到了更低的回归错误，超过了SOTA SIoU
• 设计了单调FM(Focusing Mechanism) 的WIoU v2 和 动态非单调FM的WIoU v3，WIoU v3的性能更好
• 对低质量样例进行了详细的研究，展示了动态非单调FM的WIoU的有效性

WIoU V1

因为训练数据中难以避免地包含低质量示例，所以如距离、纵横比之类的几何度量都会加剧对低质量示例的惩罚从而使模型的泛化性能下降。好的损失函数应该在锚框与目标框较好地重合时削弱几何度量的惩罚，不过多地干预训练将使模型有更好的泛化能力。在此基础上，我们根据距离度量构建了距离注意力，得到了具有两层注意力机制的 WIoU v1：

• ${\mathcal{R}}_{WIoU}\in [1,e)$，这将显著放大普通质量锚框的${\mathcal{L}}_{IoU}$(当普通质量锚框的时候，${\mathcal{R}}_{WIoU}$是中间的值，普通质量锚框和目标框的拟合较好，相对于高质量锚框来说， ${\mathcal{R}}_{WIoU}$的值会更大，给予普通锚框的增益会更多，${\mathcal{L}}_{WIoUv1}$会更大，进而更加关注普通质量锚框)
• ${\mathcal{L}}_{IoU}\in [0,1]$，这将显著降低高质量锚框的${\mathcal{R}}_{WIoU}$，并在锚框与目标框重合较好的情况下显著降低其对中心点距离的关注(高质量锚框与目标框的拟合好，进而${\mathcal{R}}_{WIoU}$根据计算公式就会越接近1，相对于普通质量的锚框来说，${\mathcal{R}}_{WIoU}$会更小。当两个锚框与一个目标框具有相同的IoU，那么就代表${\mathcal{L}}_{IoU}$是一样的，但是中心点距离远的锚框的${\mathcal{R}}_{WIoU}$会更大，${\mathcal{L}}_{WIoUv1}$会更大，进而更加关注中心点距离远的那个锚框)

$${\mathcal{L}}_{WIoUv1}={\mathcal{R}}_{WIoU}{\mathcal{L}}_{IoU}$$$${\mathcal{R}}_{WIoU}=\exp \left(\frac{{\left(x-x_{gt}\right)}^2+{\left(y-y_{gt}\right)}^2}{{\left(W_g^2+H_g^2\right)}^{\ast }}\right)$$

为了防止${\mathcal{R}}_{WIoU}$产生阻碍收敛的梯度，将$W_g,H_g$从计算图中分离 (上标 * 表示此操作)。因为它有效地消除了阻碍收敛的因素，所以我们没有引入新的度量指标，如纵横比。

这个阻碍收敛的因素在论文中的DIoU部分介绍的

DIoU 将惩罚项定义为中心点连接的归一化长度：
$${\mathcal{R}}_{DIoU}=\frac{{\left(x-x_{gt}\right)}^2+{\left(y-y_{gt}\right)}^2}{W_g^2+H_g^2}$$

同时为最小包围框的尺寸$W_g,H_g$提供了负梯度，这将使得$W_g,H_g$增大而阻碍预测框与目标框重叠：
$$\begin{array}{rl}& \frac{\partial {\mathcal{R}}_{DIoU}}{\partial W_g}=-2W_g\frac{{\left(x-x_{gt}\right)}^2+{\left(y-y_{gt}\right)}^2}{{\left(W_g^2+H_g^2\right)}^2}<0\\ & \frac{\partial {\mathcal{R}}_{DIoU}}{\partial H_g}=-2H_g\frac{{\left(x-x_{gt}\right)}^2+{\left(y-y_{gt}\right)}^2}{{\left(W_g^2+H_g^2\right)}^2}<0\end{array}$$

但不可否认的是，距离度量的确是一个极其有效的解决方案，成为高效边界框损失的必要因子。EIoU 在此基础上加大了对距离度量的惩罚力度，其惩罚项定义为：
$${\mathcal{R}}_{EIoU}={\mathcal{R}}_{DIoU}+\frac{{\left(x-x_{gt}\right)}^2}{W_g^2}+\frac{{\left(y-y_{gt}\right)}^2}{H_g^2}$$

WIoU V2

Focal Loss 设计了一种针对交叉熵的单调聚焦机制，有效降低了简单示例对损失值的贡献。这使得模型能够聚焦于困难示例，获得分类性能的提升。类似地，我们构造了${\mathcal{L}}_{WIoUv1}$ 的单调聚焦系数${\mathcal{L}}_{IoU}^{\gamma \ast }$($\gamma$是指数幂，${\mathcal{L}}_{IoU}$是底数，*表示从计算图中分离)
$${\mathcal{L}}_{WIoUv2}={\mathcal{L}}_{IoU}^{\gamma \ast }{\mathcal{L}}_{WIoUv1},\gamma >0$$

由于增加了聚焦系数，WIoU v2 反向传播的梯度也发生了变化：
$$\frac{\partial {\mathcal{L}}_{WIoUv2}}{\partial {\mathcal{L}}_{IoU}}={\mathcal{L}}_{IoU}^{\gamma \ast }\frac{\partial {\mathcal{L}}_{WIoUv1}}{\partial {\mathcal{L}}_{IoU}},\gamma >0$$

在模型训练过程中，梯度增益${\mathcal{L}}_{IoU}^{\gamma \ast }$随着${\mathcal{L}}_{IoU}$的减小而减小，导致训练后期收敛速度较慢。因此，引入${\mathcal{L}}_{IoU}$的均值作为归一化因子：
$${\mathcal{L}}_{WIoUv2}=(\frac{{\mathcal{L}}_{IoU}^{\ast }}{\overline{{\mathcal{L}}_{IoU}}}{)}^{\gamma }{\mathcal{L}}_{WIoUv1}$$

其中的$\overline{{\mathcal{L}}_{IoU}}$为动量 $m$ 的滑动平均值，动态更新归一化因子使梯度增益$r=(\frac{{\mathcal{L}}_{IoU}^{\ast }}{\overline{{\mathcal{L}}_{IoU}}}{)}^{\gamma }$整体保持在较高水平，解决了训练后期收敛速度慢的问题(这里的$\overline{{\mathcal{L}}_{IoU}}$类似于梯度优化中的动量, 源码中的计算公式为${\overline{{\mathcal{L}}_{IoU}}}_{n+1}=(1-m)\times {\overline{{\mathcal{L}}_{IoU}}}_n+m\times {{\mathcal{L}}_{IoU}^{\ast }}_n$，m是下文提到的动量)

WIoU V3

定义离群度以描述锚框的质量，其定义为：
$$\beta =\frac{{\mathcal{L}}_{IoU}^{\ast }}{\overline{{\mathcal{L}}_{IoU}}}\in [0,+\infty )$$

离群度小意味着锚框质量高，我们为其分配一个小的梯度增益，以便使边界框回归聚焦到普通质量的锚框上。对离群度较大的锚框分配较小的梯度增益，将有效防止低质量示例产生较大的有害梯度。(离群度小，意味着${\mathcal{L}}_{IoU}^{\ast }$比较小，由下面公式知，当${\mathcal{L}}_{IoU}^{\ast }$小，而$\overline{{\mathcal{L}}_{IoU}}$近似于普通锚框的${\mathcal{L}}_{IoU}^{\ast }$比较大的时候，梯度增益就会很小；离群度大，意味着低质量锚框的${\mathcal{L}}_{IoU}^{\ast }$损失较大，远大于$\overline{{\mathcal{L}}_{IoU}}$，因此，由下面的公式可知，$\beta$的值就会比较大，由图8可知，梯度增益比较低；但是普通质量的锚框的β就会近似等于1，梯度增益就比较大。因此整体来说，更关注于普通质量的锚框)(为什么说$\overline{{\mathcal{L}}_{IoU}}$近似于普通质量锚框的${\mathcal{L}}_{IoU}^{\ast }$，因为：一、这个WIoU v3比较关注于普通质量锚框的；二、普通锚框相对于高质量锚框和低质量锚框来说都比较多)
$$\beta =\frac{{\mathcal{L}}_{IoU}^{\ast }}{\overline{{\mathcal{L}}_{IoU}}}=\frac{{\mathcal{L}}_{IoU}^{\ast }}{(1-m)\times \overline{{\mathcal{L}}_{IoU}}+m\times {\mathcal{L}}_{IoU}^{\ast }}$$

论文利用 $\beta$ 构造了一个非单调聚焦系数并将其应用于 WIoU v1：
$${\mathcal{L}}_{WIoUv3}=r{\mathcal{L}}_{WIoUv1},r=\frac{\beta }{\delta {\alpha }^{\beta -\delta }}$$

其中，当 $\beta =\delta$ 。当锚框的离群程度满足 $\beta =C$ ($C$ 为定值)时，锚框将获得最高的梯度增益。由于$\overline{{\mathcal{L}}_{IoU}}$是动态的，锚框的质量划分标准也是动态的，这使得 WIoU v3 在每一时刻都能做出最符合当前情况的梯度增益分配策略(这个策略就是论文目的，就是上面的的变化带来的梯度增益的变化)。

为了防止低质量的锚框在训练的早期阶段被遗忘，我们初始化 $\overline{{\mathcal{L}}_{IoU}}=1$，使得锚框的梯度增益最大。(这个是为了在早期的时候获得近似最大的增益，假设在早期的时候$IoU=0$, ${\mathcal{L}}_{IoU}=1$, 由上图可以看出，当$\overline{{\mathcal{L}}_{IoU}}=1$的时候才会得到最大的增益，损失下降才快)。

为了在训练初期保持这种策略，有必要设置一个较小的动量 m，以延迟$\overline{{\mathcal{L}}_{IoU}}$接近真实值$\overline{{\mathcal{L}}_{IoU-real}}$的时间。论文建议将动量设置为：(github代码中的m设置不一样，作者在v2版本设置的是1e-2，可以看源码中的设置)
$$m=1-\sqrt[tn]{0.05}$$

n为batchsize，t为当 AP 的提升速度在 t 个epoch显著减慢的值。

在训练的中后期，WIoU v3 会为低质量的锚框分配较小的梯度增益，以减少有害梯度。同时，它也会关注普通质量的锚点，以提高模型的定位性能。(本人理解，到了中后期，$\overline{{\mathcal{L}}_{IoU}}$可以近似的看错普通锚框产生的 ${\mathcal{L}}_{IoU}$，低质量锚框的${\mathcal{L}}_{IoU}$损失较大，远大于$\overline{{\mathcal{L}}_{IoU}}$，因此，在除以$(1-m)\times \overline{{\mathcal{L}}_{IoU}}+m\times {\mathcal{L}}_{IoU}$的时候值就会比较大，由图8可知，获得增益比较低。但是普通锚框的β就会近似等于1，获得增益就比较大)

实验结果