目标检测--YOLO v3论文阅读笔记

前文阅读

一、YOLO v1 论文阅读笔记（附代码）
二、YOLO v2 学习笔记

• 论文：YOLOv3: An Incremental Improvement

一、前言

YOLO v3的主要目的，还是要在不降低检测速度的前提下，提高检测精度。为此，作者做了一系列的尝试。
下图是YOLO v3和其他目标检测的方法对比，可以明显的看出，在性能相似的情况下YOLO v3的速度明显快于其他方法。

1.1 改进

1.1.1 新的网络结构

$$网络结构\{\begin{array}{l}按层排列\\ 按Module排列\end{array}$$

1.1.2 真正的多尺度

• 尺度的理念来自于SIFT $\to$ 特征金字塔
• 3种尺度；3 种Anchor（尺度；cell）
  • 1/32；小尺度 feature map（13 ×13） $\to$ 大 Anchor
  • 1/16；中尺度 feature map（26 ×26） $\to$ 中 Anchor
  • 1/8；大尺度 feature map（52 ×52） $\to$ 小 Anchor

1.1.3 更新分类方式

• 80 个类别，从 Softmax $\to$ 逻辑回归（logistic）

网络结构分析

1、Bounding Box的预测（与YOLO v2一致）

$b_x=\sigma (t_x)+c_x$
$b_y=\sigma (t_y)+c_y$
$b_w=p_w{e}^{t_w}$
$b_h=p_h{e}^{t_h}$
$Pr(object)\ast IOU(b,object)=\sigma (t_o)$

其中，$b_x,b_y,b_w,b_h$是预测边框的中心和宽高。【最终的检测结果】

$c_x,c_y$是当前网格（grid）左上角到图像左上角的距离，要先将网格大小归一化，即令一个网络的$宽=1,高=1$。
$p_w,p_h$是先验框（Anchor）的宽和高。$\sigma$是Sigmoid激活函数。$t_x,t_y,t_w,t_h,t_o$是要学习的参数，分别用于预测边框的中心和宽高，以及置信度。
$Pr(object)\ast IOU(b,object)$是预测边框的置信度，这里对预测参数$t_o$ 进行 $\sigma$变换后作为置信度的值。

2、分类预测 — 独立的Logistics回归代替Softmax

没有使用Softmax 而是使用独立的逻辑回归分类。

因为Softmax假设每个框都有一个类，而现实情况通常不是这样的。
多标签方法可以很好地建模数据。

3、多尺度的预测–专人专事

• 输出是$N\ast N\ast [3\ast (4+1+80)]$
  $3$表示的含义是，每个尺度下有3个不同的先验框

• 从3个尺度【1/32(32倍下采样)，1/16(16倍下采样)，1/8(8倍下采样)】进行预测，

• Bouding Box 偏移量（4个）；Objectness预测–置信度（1个）；类别预测—（80维的one-hot向量）

  1. 在第79层之后经过几个卷积操作得到的是1/32 （13*13） 的预测结果，下采样倍数高，这里特征图的每个特征点感受野比较大，因此适合检测图像中尺寸比较大的对象。
     K-means聚类得到先验框的尺寸：在最小的13*13特征图上（有最大的感受野）应用较大的先验框(116x90)，(156x198)，(373x326)，适合检测较大的对象。

  2. 然后这个结果通过上采样与第61层的结果进行concat,再经过几个卷积操作得到1/16的预测结果；它具有中等尺度的感受野，适合检测中等尺度的对象。
     K-means聚类得到先验框的尺寸：中等的26*26特征图上（中等感受野）应用中等的先验框(30x61)，(62x45)，(59x119)，适合检测中等大小的对象。

  3. 91层的结果经过上采样之后在于第36层的结果进行concat，经过几个卷积操作之后得到的是1/8的结果，每个特征点的感受野最小，适合检测小尺寸的对象。
     K-means聚类得到先验框的尺寸：较大的52*52特征图上（较小的感受野）应用较小的先验框(10x13)，(16x30)，(33x23)，适合检测较小的对象。

• concat：张量拼接。将darknet中间层和后面的某一层的上采样进行拼接。拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

对于多尺度检测来说，采用多个尺度进行预测，具体形式是在网络预测的最后某些层进行上采样拼接的操作来达到；对于分辨率对预测的影响如下解释：
分辨率信息直接反映的就是构成object的像素的数量。一个object，像素数量越多，它对object的细节表现就越丰富越具体，也就是说分辨率信息越丰富。这也就是为什么大尺度feature map提供的是分辨率信息了。语义信息在目标检测中指的是让object区分于背景的信息，即语义信息是让你知道这个是object，其余是背景。在不同类别中语义信息并不需要很多细节信息，分辨率信息大，反而会降低语义信息，因此小尺度feature map在提供必要的分辨率信息下语义信息会提供的更好。(而对于小目标，小尺度feature map无法提供必要的分辨率信息，所以还需结合大尺度的feature map)

4、新的特征提取网络—DarkNet-53

Darknet-53与其他网络的对比：

• Top-1 和 Top-5 代表的是精度信息
• Bn Ops
• BFL OP/s
• FPS
  

Loss函数

$$\begin{gathered} lbox={\lambda }_{coord}\sum _{i=0}^{s^2}\sum _{j=0}^B{1}_{i,j}^{obj}(2-w_i\ast h_i)[(x_i-\widehat{x_i}{)}^2+(y_i-\widehat{y_i}{)}^2+(w_i-\widehat{w_i}{)}^2+(h_i-\widehat{h_i}{)}^2]-(1) \\ lcls={\lambda }_{class}\sum _{i=0}^{s^2}\sum _{j=0}^B{1}_{i,j}^{obj}\sum _{c\in classes}{p}_i(c)log(\widehat{p_i}(c))-(2) \\ lobj={\lambda }_{noobj}\sum _{i=0}^{s^2}\sum _{j=0}^B{1}_{i,j}^{noobj}(c_i-\widehat{c_i}{)}^2+{\lambda }_{obj}\sum _{i=0}^{s^2}\sum _{j=0}^B{1}_{i,j}^{obj}(c_i-\widehat{c_i}{)}^2-(3) \\ loss=lbox+lcls+lobj-(4) \end{gathered}$$
从公式4可以看出，loss共包含3部分。

box_loss，S代表13,26,52，就是grid是几乘几的。B=5，平方差损失。

class_loss，和YOLO v2的区别是改成了交叉熵。

obj_confidence_loss，和YOLO v2一模一样。

实验结果

一些无效的策略

这些方法中的一些可能会产生良好的效果，它们只需要一些调整来稳定训练。

1、直接预测 Anchor Box中 x，y的偏移

使用线性激活函数，预测偏移x，y作为box宽或高的倍数。

• 无效的原因：
  降低了模型的稳定性。

2、预测x，y偏移量，使用线性激活函数代替logistics激活函数

使准确率下降。

3、使用Focal Loss

准确率降低了2个MAP

因为它有单独的对象性预测和条件类预测。所以鲁棒性较好。

4、双重IOU阈值

Faster R-CNN使用双重阈值。
$IOU>0.7$：是简单有效的目标。
$0.3<IOU<0.7$：被忽视。
$0.3<IOU$：是困难无效的目标。

总结

$$YOLOv3的主要改进\{\begin{array}{l}设计了新的分类网络-Darknet-53\\ 设计了多尺度检测头-专人专事\\ 用Logistics回归代替Softmax分类\end{array}$$

代码阅读（待补充）