YOLO_V3 原理以及训练说明

• yolo_v3目标检测原理
• Darknet 训练测试说明

 

1. yolo_v3

  主要从三个方面来说明，网络的输入、结构、输出。

  （1）网络输入：原论文中提到的大小320*320,416*416,608*608。这个大小必须是32的整数倍数，yolo_v3有5次下采样，每次采样步长为2，所以网络的最大步幅（步幅指层的输入大小除以输出）为2^5=32。

  （2）网络结构：作者首先训练了一个darknet-53，训练这个主要是为了主要有两个目的：a.这个网路结构能在ImageNet有好的分类结果，从而说明这个网路能学习到好的特征(设计新的网络结构，这个相当于调参，具体参数怎么调，就是炼丹了)，b.为后续检测模型做初始化。作者在ImageNet上实验发现这个darknet-53，的确很强，相对于ResNet-152和ResNet-101，darknet-53不仅在分类精度上差不多，计算速度还比ResNet-152和ResNet-101强多了，网络层数也比他们少。

                     图一  darknet-53网络结构

 

                   图二  darknet-53的性能测试

Darknet-53采用了ResNet这种跳层连接方式，性能完全比ResNet-152和ResNet-101这两种深层网络好，这里作者并没有给出原因，可能的原因:a.网络的基本单元的差异,b.网络层数越少，参数少。需要的计算量少。

             图三  两种结构基本单元比较

Yolo_v3网路就是使用了darknet-53的前面的52层（没有全连接层），直接拿过来，yolo_v3这个网络是一个全卷积网络，大量使用残差的跳层连接。之前的工作中，采样一般都是使用size为2*2，步长（stride）为2的max-pooling或者average-pooling进行降采样。但在这个网络结构中，使用的是步长为2的卷积来进行降采样。同时，网络中使用了上采样、route操作，还在一个网络结构中进行3次检测（有点盗用SSD的思想）

 使用残差的结构的好处：（1）深度模型一个关键的点就是能否正常收敛，残差这种结构能保证网络结构在很深的情况下，仍能收敛，模型能训练下去。（2）网络越深，表达的特征越好，分类+检测的效果都会提升。（3）残差中的1*1卷积，使用network in network的想法，大量的减少了每次卷积的channel，一方面减少了参数量（参数量越大，保存的模型越大），另一方面在一定程度上减少了计算量

网路中作者进行了三次检测，分别是在32倍降采样，16倍降采样，8倍降采样时进行检测,这样在多尺度的feature map上检测跟SSD有点像。在网络中使用up-sample（上采样）的原因:网络越深的特征表达效果越好，比如在进行16倍降采样检测，如果直接使用第四次下采样的特征来检测，这样就使用了浅层特征，这样效果一般并不好。如果想使用32倍降采样后的特征，但深层特征的大小太小，因此yolo_v3使用了步长为2的up-sample（上采样），把32倍降采样得到的feature map的大小提升一倍，也就成了16倍降采样。同理8倍采样也是对16倍降采样的特征进行步长为2的上采样，这样就可以使用深层特征进行detection。

 Yolo_v3通过上采样的方式很好的使16倍降采样和8倍降采样使用深层特征，但进行4次下采样和3次下采样得到的浅层feature map大小是一样的。Yolo_v3想把这些浅层特征也利用起来，就有了route层。把16倍降采样得到的feature map和四次下采样得到的层拼接在一起，在channel那个维度进行拼接。这样拼接的好处：让网络同时学习深层和浅层特征，表达效果更好。8倍降采样同样也是这样的操作，把三次下采样的feature map拼接在一起。

（箭头没画好，箭头从up-sample指向detection，代表把feature map的大小上升一倍）

（3）网络输出：

a.首先先确定网络输出特征层的大小。比如输入为320*320时，则输出为320/32=10,因此输出为10*10大小的特征层（feature map），此时有10*10=100个cell；同理当输入为416*416时输出的特征层为13*13大小的特征层，13*13=169个cell；输入为608*608时，输出的feature map大小为19*19，cell有19*19=361个。进行每进行一次up-sample时，输出特征层扩大一倍。

b. Anchor box的确定。这个先验框不同于之前Faster-Rcnn和SSD那样人工设定，在yolo_v2和yolo_v3中，都采用了对图像中的object采用k-means聚类。在yolo_v3中作者是这样描述的：We still use k-means clustering to determine our bounding box priors. We just sort of chose 9 clusters and 3 scales arbitrarily and then divide up the clusters evenly across scales. On the COCO dataset the 9 clusters were:(10,13); (16,30); (33,23); (30,61); (62,45); (59,119); (116 ,90); (156 ,198); (373 ,326). 这个地方，作者有一个地方没有说清楚，这个框的大小是在什么输入大小的图像下确定的，比如你在608*608作为输入图像中object的大小和在320*320大小图像中的object大小肯定不同，对这两种输入聚类的结果肯定不同。但查看作者提供的yolo_v3网络配置文件，这个聚类结果应该是在416*416大小的图像下聚类得到的结果

                                图四  Yolo_v3部分网络配置文件

c. feature map中的每一个cell都会预测3个边界框（bounding box） ，每个bounding 
box都会预测三个东西：（1）每个框的位置（4个值，中心坐标tx和ty，，框的高度bh和宽度bw），（2）一个objectness prediction ，（3）N个类别，coco数据集80类，voc20类。因此对于coco数据集，在网络输入为416*416时，网络的输出大小为13*13（3*（4+1+80））=43095

                           图五   bounding box

对于上图的几点说明:

中心坐标（tx和ty）

Yolo_v3使用 sigmoid 函数进行中心坐标预测。这使得输出值在 0 和 1 之间。正常

情况下，YOLO 不会预测边界框中心的确切坐标。它预测的是：与预测目标的网格单元左上角相关的偏移；并且使用feature map中的cell大小进行归一化。

当输入图像为416*416，如果中心的预测是 (0.4, 0.7)，则第二个cell在 13 x 13 特征图上的相对坐标是 (1.4, 1.7)，具体的位置x坐标还需要1.4乘以cell的宽，y坐标为1.7乘以cell的高。

Bounding box的宽度bw和高度bh

Yolo_v3得出的预测 bw 和bh 使用图像的高和宽进行归一化，框的预测 bx 和 by 是 (0.3, 0.8)，那么 13 x 13 特征图的实际宽和高是 (13 x 0.3, 13 x 0.8)。

d. 三次检测，每次对应的感受野不同，32倍降采样的感受野最大，适合检测大的

目标，所以在输入为416*416时，每个cell的三个anchor box为(116 ,90); (156 ,198); (373 ,326)。16倍适合一般大小的物体，anchor box为(30,61); (62,45); (59,119)。8倍的感受野最小，适合检测小目标，因此anchor box为(10,13); (16,30); (33,23)。所以当输入为416*416时，实际总共有（52*52+26*26+13*13）*3=10647个proposal box。

                                              图六 打印出10647个proposal box