深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点误差(FL))

Introduction

Note:

• CE与FL 均为分类任务的目标函数。

CE

交叉熵误差 (Cross-entropy Error，CE) ：

CE(y^)=−1n∑k=1n[I{y=y′}log(pt)] C E ( y ^ ) = − 1 n ∑ k = 1 n [ I { y = y ′ } log ⁡ ( p t ) ]

Note：

• n n ：样本数。

• 只对 ground_truth所对应的那一个单类进行响应计算。

FL

焦点误差（Focal Loss，FL），于2017年提出。

其设计如下：

FL(y^)i=(1−pt)γCE(y^)i F L ( y ^ ) i = ( 1 − p t ) γ C E ( y ^ ) i

CE -> FL

FL的出现极大地缓解了CE无法克服的“类别不平衡问题”。FL整体降低了loss，但对量少类的loss削减幅度较小，因此量少类loss所占总loss的比例大大升高。

---

[1] Deep Learning
[2] 深度学习: Softmax 函数
[3] 深度学习: 目标函数
[4] 交叉熵代价函数