RetinaNet 网络结构、Focal Loss【详解】

1、RetinaNet 论文提出的问题

RetinaNet 这篇文章回答了为什么two-stage比one-stage的效果要好，下面是原文回答：

1. Because neg/pos samples are extremely unbalanced
2. Gradient is dominated by easy samples.

意思就是说：训练样本的正负样本比不平衡，其次就是梯度由比较容易的样本所主导。

2、使用focal loss解决上述问题

Cross Entropy Loss：

考虑正负样本的loss，Binary Cross Entropy Loss：

如果正负样本比不平衡，所以应该在正样本前面乘上大的系数，负样本前面乘上小的系数，

Balance Binary Cross Entropy Loss：

为了解决“梯度由比较容易的样本所主导”的问题，可以在难预测的样本前面乘上 $(1-p{)}^{\gamma }$，在容易预测样本的前面乘上 $p^{\gamma }$，即focal loss：