YOLOV3算法详解——设计思想以及候选区域选择

本篇博文是笔者结合百度paddle公开课的一个AI识虫项目对YOLOV3算法做的一个解析
完整项目可参考https://aistudio.baidu.com/aistudio/projectdetail/250211

什么是目标检测?

相信有一定基础的深度学习开发者经常能听到目标检测这个词，那什么任务是目标检测呢。

简单地来说目标检测就是让计算机识别出图片里面对应的物体，并标上边界框

对于分类任务，我只需要识别这种图片是不是动物的图片即可
而对于目标检测任务，我并不是对整张图片做一个分类，而是对图片里的部分区域做一个分类，并绘制一个目标框标记物体

目标检测算法发展历程

既然图片分类是对整张图片进行分类，我们能不能从原图里“抠”下不同区域的图片进行分类呢？

答案当然是可以的，而这也是最初目标检测算法的思路

我们将目标检测任务进行拆分成两个任务，分别是产生候选区域， 对候选区域进行分类。而这也引入了算法的区别，我们常听到的一阶段目标检测算法，就是用一个网络同时产生候选区域并进行预测。而二阶段目标检测算法，则是分别进行候选区域产生和分类任务。

最初产生的候选区域方法比较“笨”，更准确地来说应该称其为穷举法，也就是将图片中每个像素都遍历一遍，再遍历其右下方的像素。两个像素就能确定一个区域，穷举法的好处就是思想简单，产生的候选区域都遍布整张图片，但它带来的计算量实在是过于庞大

假设图片长宽分别为W, H
则其候选区域的数量约为: （WWH*H)/4
这种计算量放在当今的硬件条件上也是很不现实的。

当今图像分类已经发展地较为成熟，目标检测的工作更多的是放在如何更smart地产生候选区域上面

其中目标检测算法中具有代表性的就是R-CNN系列，SSD，YOLO这几种经典算法

其中YOLO算法是较为常用的一种算法，它推理速度快的同时也能保证一定的精度

目标检测中涉及的基础概念

边界框bounding-box

我们对目标进行标注的时候采用的就是边界框， 也就是bounding-box。

该图片对其中的人物进行了标注，其中红色框就是边界框

而我们有两种格式来表示一个边界框
第一种就是xywh格式，其中xy是边界框的中心点xy坐标，wh分别是图片的宽度，高度

第二种则是xyxy格式，其中前两个xy是左上角的xy坐标， 后两个xy则是右下角的xy坐标

另外要注意的是，在图像中xy坐标系可能有些许区别，x坐标与我们数学中的x坐标是一样的，但是y坐标则是在最上方为0，从上到下依次递增

锚框——Anchor

目标检测中常说的Anchor box指的就是锚框
它不是真实存在的，是人们假想出来的一种边界框

我们只需给定框的缩放尺寸，和框的中心位置，就能产生一系列不同大小的锚框

蓝色框就是基于中心点产生的三种不同大小的框

通常锚框在目标区域内就是候选区域，我们会检测锚框内是否含有目标物体，再进一步预测类别。

需要注定的是，锚框的中心点和尺度缩放是我们预先设定好的，所以它并不能很好地真正去逼近真实边界框。因此我们的任务就是对锚框进行微调，至于怎么微调，微调的幅度，这些就是网络需要学习的。

交并比IOU

在目标检测中，我们使用交并比来对预测框是否很好覆盖真实框进行评估

IOU实质上是交并比，就是将图片的交集比上并集。该值越接近1，说明两个图片重合的区域越大

我们前面说过框的表示有xywh和xyxy两种格式，这里我贴上两种格式计算IOU的python代码

def box_iou_xyxy(box1, box2):
    """
    计算IOU
    :param box1: 框1 的左上角坐标和右下角坐标
    :param box2: 框2 的左上角坐标和右下角坐标
    :return: 交并比，即交集比上并集
    """
    x1min, y1min, x1max, y1max = box1[0], box1[1], box1[2], box1[3]
    x2min, y2min, x2max, y2max = box2[0], box2[1], box2[2], box2[3]

    # 计算box1的面积
    s1 = (x1max -x1min + 1.) * (y1max - y1min + 1.)
    # 计算box2的面积
    s2 = (x2max - x2min + 1.) * (y2max - y2min + 1.)

    # 计算相交矩形框的坐标
    # 由于图形坐标都是从上到下，从左到右进行递增
    # 因此相交矩形的左上角x坐标应该用max计算
    xmin = np.maximum(x1min, x2min)
    ymin = np.maximum(y1min, y2min)
    xmax = np.minimum(x1max, x2max)
    ymax = np.minimum(y1max, y2max)

    # 计算相交矩形的高度和宽度
    inter_h = np.maximum(ymax - ymin + 1., 0.)
    inter_w = np.maximum(xmax - xmin + 1., 0.)
    intersection = inter_h * inter_w

    # 计算相并面积
    union = s1 + s2 - intersection
    # 计算IOU，IOU = UNION / INTERSECTION
    iou = union / intersection

    return iou

def box_iou_xywh(box1, box2):
    """
    以xywh形式计算IOU
    :param box1:
    :param box2:
    :return:
    """
    x1min, y1min = box1[0] - box1[2]/2.0, box1[1] - box1[3]/2.0
    x1max, y1max = box1[0] + box1[2]/2.0, box1[1] + box1[3]/2.0
    s1 = box1[2] * box1[3]

    x2min, y2min = box2[0] - box2[2]/2.0, box2[1] - box2[3]/2.0
    x2max, y2max = box2[0] + box2[2]/2.0, box2[1] + box2[3]/2.0
    s2 = box2[2] * box2[3]

    xmin = np.maximum(x1min, x2min)
    ymin = np.maximum(y1min, y2min)
    xmax = np.minimum(x1max, x2max)
    ymax = np.minimum(y1max, y2max)
    inter_h = np.maximum(ymax - ymin, 0.)
    inter_w = np.maximum(xmax - xmin, 0.)
    intersection = inter_h * inter_w

    union = s1 + s2 - intersection
    iou = intersection / union
    return iou

下图是不同交并比的结果

YOLO设计思想

它分两条路线，第一条就是经过卷积网络提取图片的特征， 第二条就是对图像划分成一个个小方块，再在上面生成不同尺度的锚框，最后标注预测框，预测框再与卷积出来的特征图结合起来输出结果

生成候选区域

YOLO并不是以每个像素点作为基本单位，而是选取一个小尺寸的区域作为一个单位

比如大小为640 x 480的图片，YOLO以32x32的区域作为一个区域，那整张图片被分为20 x 15 的区域

然后再以每个区域的中心点生成不同尺度的锚框

接下来是生成预测框
我们前面有说过预测框是在锚框的基础上进行微调

具体计算公式如下，这里预测框锚框格式都是xywh


其中bx by bh bw分别是预测框的中心点x，y坐标，高度，宽度
σ(x)是Sigmoid函数
ph和pw是预先设定好的锚框大小，在模型中算是一个超参数

而tx ty th tw是我们需要神经网络去学习的预测量

选择sigmoid函数和e指数运算的原因

sigmoid和exp这两个函数输出都是正值，并且sigmoid函数输出是在0-1之间，能保证对中心点调整还是在我们划分好的小区域内部，不需要再后续网络输出做一个输出值的检查截断

这里举一个预测框计算的例子

对候选区域进行标注

对于候选区域，我们需要标注以下信息
1.我们的候选区域是否含有目标物体？我们使用标签objectness来表示，objectness=1 表示是正类，含有目标物体，反之则没有
2. 我们的候选区域对应的预测框是什么？即上面我们需要知道的tx ty tw th 是什么
3. 锚框包含的物体类别是什么？即对应的label

YOLO里面设置每个真实框只对应一个正确的预测框，即IOU交并比最大的那个预测框，但有些预测框可能跟真实框的交并比也很大，但这时候作为负样本扔进损失函数计算是不合适的，YOLO里面设定了一个阈值iou_threshold=0.7，即预测框与真实框的交并比大于这个阈值，但又不是最大的那个。将其objectness标签设置为-1，不参与后续损失函数的计算

接下来是处理tx ty tw th的问题，如果我们要想知道应该将这四个变量设置为什么值的时候，预测框与真实框重合，直接代入公式

其中gtx gty gtw gth是真实框的xywh

由于sigmoid反函数不好计算，因此回归目标我们换了种形式

网络通过不断学习，以达到逼近dx dy tw th
YOLO算法的一个巧妙之处就在于这里，将目标检测问题转化为一个回归问题