损失函数中focal loss

focal loss用来解决样本不均衡的分类问题。
假设正样本(label=1)少,负样本多,定义focal loss如下

Loss = -[alpha*(1-y_hat)^2yln(y_hat)
+ (1-alpha)y_hat^2(1-y)*ln(1-y_hat)]
其中y_hat:(batch, seq, tags),预测出的
y: (batch, seq, tags)
alpha:(1, 1, tags)
alpha是超参数,是正样本损失占总体的比例,初始化为 少数样本/总样本 的比值,调整策略如下,正样本的precision 调整策略也可以为:
正类的识别正确率与负类的识别正确率

你可能感兴趣的:(Pytorch使用)