概率分布
概率分布，是指用于表述随机变量取值的概率规律。事件的概率表示了一次试验中某一个结果发生的可能性大小。若要全面了解试验，则必须知道试验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。如果试验结果用变量X的取值来表示，则随机试验的概率分布就是随机变量的概率分布，即随机变量的可能取值及取得对应值的概率。根据随机变量所属类型的不同，概率分布取不同的表现形式。
交叉熵
两个概率分布之间的距离度量。
对于离散变量采用以下的方式计算：
对于连续变量：
二分类交叉熵
预测分布，取正样本概率, 取负样本。
真实分布，对于正样本，取正样本概率为1，取负样本概率为0；对于负样本，取正样本概率为0，取负样本概率为1.
onehot 编码：
预测分布：
真实分布，正样本, 负样本
正样本时：
负样本时：
In summary:
Focusing penalty:
focusing parameter
modulating factor
Weighted cross entropy loss （CE） and Focal loss （FL）:
简单样本和困难样本不均衡的问题。
重点关注困难样本的loss：
easy sample: , ，do not take the loss into consideration
hard sampel: , ，original loss
, , Focal Loss -> CE
References:
https://www.cnblogs.com/king-lps/p/9497836.html
https://zhuanlan.zhihu.com/p/49981234