YOLOF和DEFCN记录

改进点

1 box assign 问题

原来的目标检测在遇到多个目标靠近时，其生成target 预测结果的流程有问题。由于是个for循环生成target，因此有可能直接将一部分不为0的box覆盖掉。
而yolof和defcn都考虑了此问题，采用了匈牙利匹配算法来解决此问题。
采用了匈牙利匹配算法后，无需担心覆盖掉的问题。

2 多尺度问题

yolov4和v3这些都存在使用base net 不同深度的特征来预测不同大小的物体。
但是yolof实验证明不需要这么复杂。
因此yolof第一网络结构更直接简单，第二在生成ground truth时，其更简单，至少比yolov4少了一层for 循环，使程序的思路和代码更简洁，因此更容易修改。

DEFCN

论文全称：End-to-End Object Detection with Fully Convolutional Network

主要diea：
we propose a mixture label assignment and a new
3D Max Filtering (3DMF). The mixture label assignment
is made up of the proposed prediction-aware one-to-one
(POTO) label assignment and a modified one-to-many label
assignment (auxiliary loss)
With these techniques, our end-
to-end framework can discard the NMS post-processing and
keep the strong feature representation.

Prediction-aware One-To-One (POTO)

二项图匹配需要有个代价或奖励函数，提出了一个新的这个函数

3D Max Filtering

提出了多尺度时用夸多尺度的max pool来得到最后的预测结果。参考关键点检测的最后的处理，只是他这里多了一个维度。

Auxiliary Loss

In addition, when using the NMS, as shown in Tab. 1, the
performance of POTO and 3DMF is still inferior to the
FCOS baseline.
Similar to ATSS [50], our auxiliary loss adopts the fo-
cal loss [22] with a modified one-to-many label assignment.
Specifically, the one-to-many label assignment first takes
the top-9 predictions as candidates in each FPN stage, ac-
cording to the proposed matching quality in Eq. 4.

YOLOF

主要观点：

retina net 和yolov3 v4都是利用basenet 的C3预测小目标，C4预测中等目标。但是本文通过实验证明，你用C5预测小目标一样可以达到很好的效果。
因此其实用哪一层的特征来预测其实没太大关系，因此根本不用做的那么复杂，直接用c5来预测就行了。

实现方法：

（1）直接用C5的特征，neck改成这样，其中的每个block都有dilation rate

（2）Uniform Matching
when we adopt the SiSo encoder, the num-
ber of anchors diminish extensively compare to the one in
the MiMo encoder, from 100k to 5k, resulting in sparse an-
chors。