FCOS 论文笔记

逐像素地去进行回归和分类，类似语义分割的思路，避免了预设锚点框的超参的设置，以及生成锚点框的运算。
code

创新点

基于FCN的检测器

Dense Box，YOLO1,等直接预测四个坐标的偏差和种类在每级特征图的每个空间位置上，为了解决不同尺度的bbox检测问题，DenseBox是crop并且resize了训练图片到一个固定尺度，所以DenseBox必须要在一个图片金字塔上进行检测。对于高重叠的目标效果不佳。YOLO1是在靠近每个目标的中心的一个点上进行预测bbox，只有靠近目标中心的点才会被利用，为了得到高质量的检测。但也是因为这个原因会使得yolo1的recall很低。所以yolo2针对这个问题加入了anchor的思路。而FCOS是在包含在gt范围内的所有点都会用来进行预测然后用centerness分区处理低质量选框。

这里补充一个特征图映射回原图的算法：
在特征图上每个位置（x，y）都可以用

s是到当前层的total stride
训练的时候，落入gt内的（x，y）作为正样本，其他的是负样本，回归的目标是

分别是（x，y）位置到gt框四边的距离，如上图。如果（x，y）同时落入多个gt中，就被当做是ambiguous sample，先简单地选择有着最小面积的gt作为这个位置的target。最后会通过多等级预测处理这种情况，这些模糊samples能够被降低重要性使得他们很难影响到检测精度。

这里的x0，x1，y0，y1是gt的左上和右下坐标。这里的gt分配方式就是FCOS和anchor-based方法最大的区别。

网络输出

不是训练一个多分类器，而是类别数个二分类器，backbone之后加了4个卷积层

Loss

分类是 focal loss 回归是IOU损失 （UnitBox笔记中会详细说明）lamda取1就行是一个平衡权重

Inference

产生一个分数p和4个位置偏移 选择p大于0.05的位置（x，y）并且反转

得到最后的预测框

多等级FPN预测

主要解决两个问题1.已知大的stride可能会导致recall的降低（很好理解因为语义信息多了但是位置信息会丢失的很厉害（一些小目标）），anchorbased方法往往通过降低对于正样本选择的iou分数来调recall。FCOS通过多等级FPN解决
2.上面提到的ambiguity samples的问题，哪个gt应该用来给当前位置做回归和分类。

不像anchorbased方法是把anchor根据不同尺度分配给不同等级的特征。FCOS是直接限制每个等级的bbox回归的范围。
首先计算出回归目标（用最小面积的gt去匹配），

if a location satisfies max(l∗; t∗; r∗; b∗) > mi or max(l∗, t∗; r∗;
b∗) < mi−1, it is set as a negative sample and is thus not required to
regress a bounding box anymore.

这里m是预设的参数从m2到m7分别是0,64,128,256,512，和正无穷。
如果这一步之后一个位置依旧被分配到多个特征图（作为正样本），就简单地选择面积最小的gt来作为target。

center-ness branch

只是一个layer

因为FCOS在预测的时候会在远离目标中心的位置产生一些低质量的bbox，通过这个layer能够预测一个像素到其对应bbox中心的偏移。这个分数再用来对低质量检测bbox进行降权后再并入nms中。

因为 canterness的值也是从0到1可以用BCEloss作为目标函数。最后的检测得分就是分类分支的输出*这个中心度，相当于是在降权。
正样本的选择

An alternative of the center-ness is to make use of only the central
portion of ground-truth bounding box as positive samples with the
price of one extra hyper-parameter, as shown in works [12, 33]