Focal Loss for Dense Object Detection论文阅读

论文地址:https://arxiv.org/pdf/1708.02002.pdf
最近YOLO_V3版本刚刚出世,很强,下面一篇博客我们再介绍,这篇博客我们主要来读读大神何凯明的大作Focal Loss(焦点损失),其主要就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss。Focal loss 这个损失函数在标准的交叉熵标准上添加了一个因子
这里写图片描述
目前目标检测的框架一般分为两种:基于候选区域的two-stage的检测框架(比如fast r-cnn系列),基于回归的one-stage的检测框架(yolo,ssd这种),two-stage的效果好,one-stage的快但是效果差一些。对于two-stage的检测器而言,通常分为两个步骤,第一个步骤即产生合适的候选区域,而这些候选区域经过筛选,一般控制一个比例(比如正负样本1:3),另外还通过hard negatiive mining(OHEM),控制难分样本占据的比例,以解决样本类别不均衡的问题。
对于one-stage的检测器来说,尽管可以采用同样的策略(OHEM)控制正负样本,但是还是有缺陷。
参考地址:https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/78920998
https://blog.csdn.net/qq_34564947/article/details/77200104
https://blog.csdn.net/u014380165/article/details/77019084
作者以二分类为例进行说明:
首先是我们常使用的交叉熵损失函数:

这里写图片描述

这里写图片描述
要对类别不均衡问题对loss的贡献进行一个控制,即加上一个控制权重即可,最初作者的想法即如下这样,对于属于少数类别的样本,增大α即可
这里写图片描述
因此后面有了如下的形式:
这里写图片描述
显然,样本越易分,pt越大,则贡献的loss就越小,相对来说,难分样本所占的比重就会变大。
这里写图片描述
这里的两个参数α和γ协调来控制,本文作者采用α=0.25,γ=2效果最好

另外:作者提到了类别不均衡和模型的初始化问题,即数量很多的某一类样本会起主导作用,在开始训练的时候可能导致不稳定。

实验框架

实验时设计了一个叫RetinaNet的one-satge的网络结构,以证明通过Focal Loss,one-stage的网络结构也能够达到two-stage的准确率,实际上采用的是基于resnet的FPN(特征金字塔网络,可自行查阅论文论文链接),网络框架如下:
这里写图片描述

你可能感兴趣的:(paper,read)