yolov3在目标检测领域可以算得上是state-of-art级别的了,在实时性和准确性上都有很好的保证.yolo也不是一开始就达到了这么好的效果,本身也是经历了不断地演进的.
yolov1
测试图片
yolov1有个基本的思想,就是将图片划分为S*S个小格grid,每个grid负责一个目标.上图里的黄色框就是grid.蓝色框就是预测的object.蓝色点是object的中心,位于黄色框内.
每个grid只预测一个目标,这个就造成了yolo的一个缺陷,当多个目标的中心都落在同一个grid cell里的时候,却只能预测出来一个.比如上图左下角有9个圣诞老人,但是只预测出来5个.
反映到模型上,也就是说输入一个448*448*3图片,经过不断卷积,输出一个7*7*30的tensor. 这里的7*7就对应于上面说到的S*S.
那么这里的30怎么来的呢? 每一个grid cell预测2个框出来,每个框对应5个值,(x,y,w,h)和一个box confidence score.box confidence score反映了预测出来的box含有目标的可能性以及这个预测的box的准确性. yolov1预测出20个类别的概率. 所以30 = 2*5 + 20
我们用B指代每个cell预测出B个box,C指代每个cell预测出C个类别的概率.那么yolo的输出的tensor的shape则为(S,S,Bx5+C)
这就是yolo的核心思想了,构建一个CNN网络,得到一个(7,7,30)的tensor.
这样的话就得到了7*7*2个box,我们只保留box confidence score>某个值的box作为我们最终的预测box.
loss
损失函数分为3个部分
- box位置错误
- confidence错误(box确实包含目标的可能性错误)
- 类别概率错误
其实也就是衡量我们的这些预测值(x,y,w,h,confidence,classp1,classp2....)和真实值的差异
首先,我们预测出了B个box,我们只会用其中一个去计算loss.我们选取与ground-truth box的IOU最大的作为我们计算loss的box.ground-truth box怎么来,因为我们事先已经把数据标注好了,我们当然可以找到ground-truth box的中心位于某个grid cell内,如果有多个ground-truth box的中心都位于当前grid cell内,怎么办?计算每一个predict box和每一个ground-truth box的IOU,选取iou最大的作为相应的predict box,ground-truth box.这个方式带来的一个问题就是前面圣诞老人那个图说到的,当多个目标很密集,他们的中心都落在了同一个grid cell内的时候,yolov1只能检测出其中之一.
loss函数如下图所示:
loss函数的设计基于以下几种考虑
- 每一种loss都给相同的权重是不合适的,对于box位置错误给更多的权重,=5
大的box和小的box,在预测的偏离差不多的情况下,显然大的box算出来的平方根误差更大,所以在计算w,h的误差的时候采取了开平方的形式
一幅图中,有很多grid cell是没有物体的,那么就会将这些grid cell中的bounding box的confidence 置为0，会导致计算梯度时,包含物体的grid cell的影响被放大,所以对不包含目标的grid cell,在计算confidence loss的时候给了一个权重λnoobj = 0.5
We use sum-squared error because it is easy to optimize, however it does not perfectly align with our goal of
maximizing average precision. It weights localization error equally with classification error which may not be ideal.
Also, in every image many grid cells do not contain any
object. This pushes the “confidence” scores of those cells
towards zero, often overpowering the gradient from cells
that do contain objects. This can lead to model instability,
causing training to diverge early on.
To remedy this, we increase the loss from bounding box
coordinate predictions and decrease the loss from confidence predictions for boxes that don’t contain objects. We
use two parameters, λcoord and λnoobj to accomplish this. We
set λcoord = 5 and λnoobj = :5.
关于第三点,"导致计算梯度时,包含物体的grid cell的影响被放大",我不知道是不是原始的论文的表述有问题还是我理解的问题?
给不包含目标的grid cell一个较低的权重,我理解应该是避免模型学到太多background信息,毕竟模型的目标是检测出目标,所以应该更关注含有目标的grid cell.
yolo的优点与不足
- 快,适合需要实时处理的场景,比如自动驾驶
- 少了区域选择的过程,可以做端到端的训练
- region proposal的方法把分类限制在了特定的区域上,yolo能够从整幅图中学习信息,所以在背景图检测的false positive更低,也就是错检率低
- 多个目标挨得很近,或者目标很小,检测效果不好
参考
https://blog.csdn.net/hrsstudy/article/details/70305791
https://arxiv.org/abs/1506.02640
https://medium.com/@jonathan_hui/real-time-object-detection-with-yolo-yolov2-28b1b93e2088