anchor-free、anchor-based整理

参考博客
参考博客1

Anchor

anchor-based

在一张图片上放置大量的预先定义好的 anchor boxes，然后预测其类别，优化这些anchor boxes的坐标，最终将这些优化后的 anchor boxes作为检测结果输出。

优点

使用anchor机制产生密集的anchor box，使得网络可直接在此基础上进行目标分类及边界框坐标回归。加入先验，训练稳定
密集的anchor box可有效提高网络目标召回能力，对于小目标检测来说提升非常明显。

缺点

正负样本不均衡、超参数的引入（每层的Anchor数量、尺度、长宽比）

双阶段检测

faster-RCNN：逐像素的对Anchors进行边界框的回归和定位

单阶段检测

SSD
YoloV2/V3

anchor-free

Anchor-free 检测器以两种不同的方式来直接找到物体，无需预先定义 anchors。
一种方式是首先定位到多个预定义或自学习的关键点，然后约束物体的空间范围。作者称这种 anchor-free 方法为 keypoint-based 方法。
另一种就是利用中心点或中心目标区域来定义正样本，然后预测它到目标四个边的距离。这类 anchor-free 方法被称作为 center-based 方法。

优点

更大更灵活的解空间、摆脱了使用anchor而带来计算量从而让检测和分割都进一步走向实时高精度

缺点

正负样本极端不平衡
语义模糊性（两个目标中心点重叠）
现在这两者大多是采用Focus Loss和FPN来缓解的，但并没有真正解决。
检测结果不稳定，需要设计更多的方法来进行re-weight

单尺度预测

YOLOV1：针对划分得到的网格进行预测
OverFeat：在图像上的卷积=使用滑窗进行分类
Densebox：用全卷积对整个图像进行目标检测（密集预测，针对于每个像素进行预测）

多尺度预测

FCOS：加入center-ness以剔除低质量预测，center-ness和分类分支的乘积为最终的置信度（像素级别的密集预测）
FSAF：提出FSAF模块，让网络自己学习anchor适配（像素级别的密集预测）

基于关键点估计

不同于密集预测的思路，出现了很多基于关键点估计的目标检测
CornerNet：用一对角点来检测来检测目标。对一幅图像，预测两组heatmap，一组为top-left角点，另一组为bottom-right角点。
CenterNet：用一个关键点来估计问题。热力图的峰值就是中心点

总结

Anchor Based正负样本选择方法：计算FPN每层的IoU来确定特征层，然后计算指定特征层位置的IoU确定具体位置。将IoU大于置信度的设置为正样本，小于某个置信值的为负样本，其他删除。
Anchor Free选择正负样本依据：空间和比例约束将anchor points分为不同的金字塔等级。首先将groundtruth框内的anchor point视为候选正样本，然后根据为每个金字塔等级定义的比例范围从候选样本中选择最终的正样本，最后那些未选择的锚点为负样本。