【论文笔记】：Mutual Supervision for Dense Object Detection

&Title

• Mutual Supervision for Dense Object Detection
• ICCV2021
• 代码

&Summary

作者打破了密集检测器中这两个头的训练样本相同的惯例，探索了一种新的监督范式，即相互监督(MuSu)，分别并相互分配分类和回归头的训练样本以确保这种一致性。
MuSu主要根据分类预测分数定义回归头的训练样本，然后根据回归头的定位分数定义分类头的样本。
实验结果表明，这种相互监督的方法保证了检测器的收敛性，并在具有挑战性的MS COCO基准上验证了该方法的有效性。

分类头和回归头是构建密集目标检测器不可缺少的组成部分，通常由相同的训练样本监督，以便在检测管道中准确检测目标。

MuSu的特点

• 通过训练阶段的相互分配，迫使这两个head保持一致。
• MuSu具有从网络本身自适应产生的训练样本的优点，避免了专家知识手工制作的训练样本。
• MuSu不需要任何手工的几何学先验，也不需要对不同层次的金字塔进行精细的处理。

从这个意义上说，MuSu在完全自适应样本分配方面迈出了一大步，更全面地释放了探测器的能力

&Problem Statement

训练图像的最大分类评分和目标最准确的定位框经常出现在不同的位置
检测器应该确保在对象的最大分类和定位分数出现的地方具有空间一致性。

分类和回归头的功能可能不同：分类头将其转换为变化较小的分类分数，而回归头将其转换为位移等效的定位偏移量，从锚到包围盒，这导致了这两个任务之间的内在不一致。具有更精细的定位框但分类得分较低的边界框被抑制了

&Research Objective

以往的工作侧重于这些头部的输入特征和网络结构，并从特征或结构的角度对分类和回归头部进行了分离。
作者从对这两个头的监督的角度来研究这个问题，具体地说，是对他们各自的训练样本的定义，并通过提出密实检测器的相互监督(MuSu)来缓解这种不一致。

训练样本不是在两个头部之间共享的。分类的训练目标由回归头部的预测框和地面真实框之间的IoU (Intersection over Union)得分自适应确定。同样，回归头的训练样本也由分类头的分类分数来定义。

&Method(s)

提出了密集对象检测器的相互监督(MuSu)算法，MuSu在训练过程中通过为这两个头部和头部相互分配训练样本来保证分类和回归之间的一致性。
MuSu可以描述为三个步骤:

1. 通过分类和回归头共同构建自适应候选包，选择最属于某一对象的可选锚点;
2. 在候选包内分别从分类和回归的角度计算排名;
3. 将这些排名转换为权重，合计出每个位置的损失，并监督分类和回归head。MuSu算法描述如下所示：
   

1. 构建候选bag
加入候选bag，就需要有一个门槛，也就是得分达到一个阈值，然后就可以算是候选了，这边的得分是有分类（score）和回归（IoU）两个共同决定的，公式如下

下面t是阈值，b是超参

2. 计算rank
上面的P到这里就没用了，下面的q和p还是分类和回归的得分，α是超参数

对于每个头部，MuSu通过评估对应头部预测与地面真实目标之间的准确性，将每个候选人按降序排列。然后MuSu将排名转换为每个候选人的权重。

一个自然的选择是使用pi来计算回归头(Rreg i)的候选项的排名，使用qi来计算分类头(Rcls i)的排名。然而，我们发现，这种直接的相互监督方式在我们的实验中效果较差。相比之下，MuSu使用正则化的标准值来计算对称形式的候选样本的排名

3. 相互监督
w是计算的权重

计算loss

这边其实就是想得到的权重乘到对应的loss值上进行加权
文章说不同的head选择不同的正样本，感觉应该就是用不同的权重来影响两个head的样本，以此来达到作者说的选择不同的正样本来参与模型训练吧（有些正样本可能权重就为0，表示抛弃，我猜）。
因为方法的第一步骤有选择样本，是用来计算权重的，产生一个阈值来选择对应的anchor，那没选上的anchor对应的权重最终就是没有变化的咯。

&Evaluation

实验大家自己可以去了解，效果很nice

&Conclusion

提出了相互监督该方案打破了分类头和回归头训练样本相同的惯例，采用软目标的方式对分类头和回归头进行相互监督。MuSu在完全自适应的训练样本选择方面迈出了一大步，它不需要精细的几何设计，而是将不同的样本相互分配给这两个头部。
在具有挑战性的MS COCO基准标记上的实验结果验证了我们提出的MuSu检测器训练方案的有效性。

&Thinks

• 在标签分配的基础上，加入了分类回归头的二次打分机制，这种打分机制并不是随便两个head计算得分然后乘到对应的head上去，而是有选择的对本head的高质量样本进行排序转换为权重，然后监督另一个head去学习，想法真的很nice
• 这种重打分，或者二次打分的策略我记得2019-2020年有蛮多这样的论文来着，我个人是很看好这个操作的，换句话说，你可以在这个基础上想一个idea，跟这个操作无关，但是却可以借助这种方法。毕竟问题只有一个，但是方法可以有很多种吗，懂的都懂。

---

有大半年没有更新博客了，这段时间一直准备春招，实习，秋招，到今天基本上可以结束坐等开奖了；
目前手里有近10个CV算法工程师意向书：字节，商汤，百度，顺丰，华为，小红书，拼多多，小马智行，海康威视，腾讯等。
接下来会花很多时间在小红书上整理这一过程所有的经验以及技巧，包括：丰富简历内容，如何打比赛（大佬止步），如何刷题，刷什么题，刷到什么程度，面试技巧，面经整理，hr面技巧，如何反问面试官，如何argue薪资等等等，大家有需要可以关注一波哈，内容保证丰富！助力大家秋招收割offer到手软！

大家如果是刚研一或者已经研二或者是大二或者大三赶紧关注一波，关注我秋招不踩坑！

小红书号：371845174（Activewaste，博客同名）

后面也会在小红书分享好用工具，插件，装逼神器等，手把手教学，大家关注起来哈！
我看有粉丝评论私信求更新的，大受鼓舞哈哈哈哈，后面会继续更新论文笔记，供大家参考互相学习！！！
另外我比较少上csdn，大家给我私信要联系方式或者评论问问题有时没看到（一个月没上，200+的通知），大家直接去小红书私信提问，或者催我撒！