Focal Loss for Dense Object Detection 概要

主要内容：Loss函数
文章提出一种loss函数，针对在one-stage模型中提取区域的foreground和background类别不平衡问题（正负样本比例接近1000）。
其中分析对于two-stage R-CNN类型模型主要通过cascade和heuristics方法解决。在proposal stage使用算法减少候选区域的同时除去大量background Samples，而在classification stage使用sampling heuristic（固定foreground-background比例）或OHEM方法控制一种比例。该函数如下：

对于二分类，其中pt表示样本为真概率，gamma控制对难分样本的学习程度，alpha控制类别不平衡度。个人觉得alpha作用不大，文中也提到alpha对性能只有些许提升。可以理解如果模型输出pt=0.8，一个高的pt会导致(1-pt)^gamma较低，也就是loss较小，反之，如果pt=0.1，就会得到个较大loss。从而控制模型学习难分样本。一般情况gamma（[0.5,5]）越大，alpha（[0.25,75]）越小。文中取gamma=2，alpha=0.25最好。

optimization：
90K iteration
lr=0.01 在60K时除以10 ，在80K时除以10
weight decay = 0.0001
momentum=0.9
对Box Regression使用standard smooth L1 loss
在new conv layer中除最后一层使用b=0， Gaussian σ=0.001
最后一层conv layer使用(pai=0.01)，文中说一开始没有使用这个，模型失败了，在使用该初始化后使得模型更有效的学习。原因是这样可以避免在开始迭代时大量background样本占据loss的控制权。

他人详细版
他人推理过程
Focal loss keras实现