YOLOv3(2018)论文笔记

YOLOv3: An Incremental Improvement

简介

论文在yolov2的基础上提供了一些更新，做了一些小改动，与同精度的模型快多倍。

一、创新点

• 更好的分类器网络 darknet53，分类精度更高，速度更快（使用卷积stride=2 代替最大池化）
• 使用3个多尺度进行预测，兼顾到小目标检测

总结

• 精度为达到STOA，但是速度是最快的
• 模型架构创新：使用多个scale的预测器进行预测
• 进行3组实验

二、论文链接

原文链接

[1804.02767] YOLOv3: An Incremental Improvement (arxiv.org)

代码链接

PyTorch-YOLOv3
附：解析

论文投稿期刊

CVPR2018

相关论文

三、论文评价

• 行文：感觉语气更为亲切，带有情绪，有点口语化
• 创新：主要就是从backbone分类网络和多尺度预测器两个角度进行创新，提高速度和精度

四、模型

• Bounding Box Prediction
  

• 正负样本（即有objectness）

  • 与gtbox的IOU最大的一个box prior作为正样本，

  • 每一个gtbox只分配一个正样本bbox，如果一个bbox没有被分配，就不计算坐标和类损失，只计算objectness

  • 
    

• Class Prediction

  • binary cross-entropy loss
  • 主要是用于多标签分类，类别之间不排斥
  • 并不像softmax 那样，类别之和为1
    

• Predictions Across Scales

  • use 3 different scales
  • predict tensor：N × N × [3 ∗ (4 + 1 + 80)] at each scale on coco
    • 4 bounding box offsets, 1 objectness prediction, and 80 class predictions.
  • use k-means clustering 确定 bounding box priors.
  • 9 clusters：(10 × 13), (16 × 30), (33 × 23), (30 × 61), (62 × 45), (59 ×119), (116 × 90), (156 × 198), (373 × 326).

• Feature Extractor

  • 添加了resnet，下采样都采用卷积stride=2，而非最大池化
  • 相对于resnet152，参数少速度快，精度还差不多

• network

  • 图片来源
  • • Concatenate 是指的channel 维度进行拼接
      - Things We Tried That Didn’t Work
  • Focal loss 使得yolov3下降了2个点，它对 Focal loss所针对的问题具有鲁棒性，可能是因为它有单独的对象预测和条件类预测。
  • Linear x, y predictions instead of logistic 使yolov3下降2个点
  • Dual IOU thresholds and truth assignment，faster-rcnn中使用的双IOU阈值和真值分配，效果对yolov3不行

五、实验

数据集

• COCO

具体实验

实验1(Comparison of backbones)

实验2(mAP on coco)

• 在$A{P}_{50}$时 ，yolo效果好
• IOU阈值越高，精度就下降很多，表明YOLOv3难以使框与对象完全对齐。
• $A{P}_s$指的是小目标的AP
• 改善了yolov2的缺点，yolov3检测小目标的精度上升了很多

实验3(AP and speed on coco)

• yolov3 速度很快，几乎超过所有其他模型，在$A{P}_{50}$时精度很高
• 在论文中提到yolov3在AP between .5 and .95 之间效果不是很好，而在.5效果好，有技术报告称，人类很难区分0.3和0.5的IOU