【学习分享】目标检测中的锚框(Anchor)

锚框

引例

在理解目标检测的锚框之前，我们首先通过一个不太严谨的例子对锚框进行一个简单的了解：
由于目前污染比较严重，导致海洋中漂浮着许多垃圾，这些垃圾既污染环境，又不利于鱼类的生存。假设我们面前有一片海域，海域中零星地漂浮着很多不同类型的垃圾，这些垃圾有的大，有的小，有的是方形的，有的是长条形的。为了保护环境，我们需要将所有的垃圾打捞起来，还海洋生物一个美好家园。

为此，我们设计了一种打捞机器，该机器能够在一定范围内撒下网，进行垃圾打捞，且只有一定大小的网能够打捞到对应一定大小的垃圾，这里我们认为当网与垃圾的IoU小于0.5时，该区域不存在垃圾；网与垃圾的IoU大于0.5时，该区域存在垃圾，当然该机器能够对网进行后续的调整(调整网的位置，形状)。由于该机器有些简陋，无法智能识别该海域中哪个区域包含垃圾，为了能够尽可能的打捞到所有的垃圾，我们需要在这片海域的不同位置下网，进行垃圾的打捞，且为了打捞不同类型的垃圾，我们需要在同一位置下多个不同形状(不同大小，不同长宽比)的网。实际上，我们希望既能打捞到所有的垃圾，同时我们又希望能够下最少的网，减少工作量。

锚框

对应到目标检测任务，海域相当于网络的输入图像；不同类型的垃圾，对应不同类型的目标类别；在海域上抛下的网相当于锚框，通过锚框来判断该区域中是否包含目标。

不同尺度的锚框

在引例我们说到，为了打捞不同类型的垃圾，我们需要在同一位置下多个不同形状(不同大小，不同长宽比)的网。同样在目标检测中，在图中的同一个位置，我们会设置几个不同尺度的锚框。

先验框与特征图的对应

在引例我们说到，我们需要在海域的不同位置下网，进行垃圾的打捞。同样在目标检测中，需要在图片的不同位置上设置锚框。

但是实际上如果遍历原图每个像素，设置的锚框就太多了，完全没必要。假设一个224x224的图片，每个位置设置3个不同尺寸的锚框，那么就有224x224x3=150528个，但是如果我们不去遍历原图，而是去遍历原图对应的feature map呢？以vgg16的backbone为例，下采样了5次，得到7x7的feature map，那就只需要得到7x7x3=147个先验,这样的设置大大减少了锚框的数量，同时也能覆盖大多数情况。

因此，我们就将锚框的设置位置与特征图建立一一对应的关系。而且，通过建立这种映射关系，我们可以通过特征图，直接一次性的输出所有先验框的类别信息以及坐标信息，而不是想前面一直描述的那样，每个候选框都去独立的进行一次分类的预测，这样太慢了

锚框类别信息的确定

在目标检测中，我们先设置了许多锚框，我们先要给出这些锚框的类别信息，才能让模型学着去预测每个先验框是否对应着一个目标物体。

这些锚框中有很多是和图片中我们要检测的目标完全没有交集或者有很小的交集，

我们的做法是，设定一个IoU阈值，例如iou=0.5，与图片中目标的iou<0.5的先验框，这些框我们将其划分为背景，Iou>=0.5的被归到目标先验框，通过这样划分，得到供模型学习的ground truth信息。

锚框生成

"""
设置细节介绍：
1. 离散程度 fmap_dims = 7： VGG16最后的特征图尺寸为 7*7
2. 在上面的举例中我们是假设了三种尺寸的先验框，然后遍历坐标。在先验框生成过程中，先验框的尺寸是提前设置好的，
   本教程为特征图上每一个cell定义了共9种不同大小和形状的候选框（3种尺度*3种长宽比=9）

生成过程：
0. cx， cy表示中心点坐标
1. 遍历特征图上每一个cell，i+0.5是为了从坐标点移动至cell中心，/fmap_dims目的是将坐标在特征图上归一化
2. 这个时候我们已经可以在每个cell上各生成一个框了，但是这个不是我们需要的，我们称之为base_prior_bbox基准框。
3. 根据我们在每个cell上得到的长宽比1:1的基准框，结合我们设置的3种尺度obj_scales和3种长宽比aspect_ratios就得到了每个cell的9个先验框。
4. 最终结果保存在prior_boxes中并返回。

需要注意的是，这个时候我们的到的先验框是针对特征图的尺寸并归一化的，因此要映射到原图计算IOU或者展示，需要：
img_prior_boxes = prior_boxes * 图像尺寸
"""

def create_prior_boxes():
        """
        Create the 441 prior (default) boxes for the network, as described in the tutorial.
        VGG16最后的特征图尺寸为 7*7
        我们为特征图上每一个cell定义了共9种不同大小和形状的候选框（3种尺度*3种长宽比=9）
        因此总的候选框个数 = 7 * 7 * 9 = 441
        :return: prior boxes in center-size coordinates, a tensor of dimensions (441, 4)
        """
        fmap_dims = 7 
        obj_scales = [0.2, 0.4, 0.6]
        aspect_ratios = [1., 2., 0.5]

        prior_boxes = []
        for i in range(fmap_dims):
            for j in range(fmap_dims):
                cx = (j + 0.5) / fmap_dims
                cy = (i + 0.5) / fmap_dims

                for obj_scale in obj_scales:
                    for ratio in aspect_ratios:
                        prior_boxes.append([cx, cy, obj_scale * sqrt(ratio), obj_scale / sqrt(ratio)])

        prior_boxes = torch.FloatTensor(prior_boxes).to(device)  # (441, 4)
        prior_boxes.clamp_(0, 1)  # (441, 4)

        return prior_boxes