【无标题】

损失函数

BCEBlurWithLogistsLoss()

• 交叉熵损失函数+sigmoid操作

  $$CE(\hat{y},y)=\{\begin{array}{llc}-\ln \hat{y}& & ify=1\\ -\ln (1-\hat{y})& & ify=0\end{array}$$
  $$\begin{gathered} CE(\hat{y},y)=-\sum _{i=1}^n[y_i\cdot \ln \sigma (\widehat{y_i})+(1-y_i)\cdot \ln (1-\sigma (\widehat{y_i}))] \\ 其中 \\ \widehat{y_i}ϵ(0,1),y_iϵ\{0,1\} \end{gathered}$$

  当 $y_i$是1的时根据 $y_i\cdot \ln (\widehat{y_i})$ ，$\widehat{y_i}$ 越接近0损失越大
  例如
  当预测结果向量为[0.5,0.8,1]，标签为[1,0,0]
  则损失向量为 $[\ln 0.5,\ln 0.2,0]$

  • $\sigma (x)$函数 $\frac{1}{1-\frac{1}{e^x}}$
    值域[0,1]用来计算概率

  • @parameters reduction

    • ‘none’ 返回没有处理过的损失向量
    • ‘meam’ 返回损失向量的平均值
    • ‘sum’ 返回损失向量的求和

  • @return $CE(\hat{y},y)$

  • 类内相关函数

    • forward()
      • @return $L\cdot (1-\frac{e^{\sigma (y-\hat{y})}}{\alpha -\xi })$其中$\xi$ = 0.00001

FocalLoss()

• 在损失函数中添加权重因子，平衡正负类的损失函数分布

  • $$FL(\hat{y})=\{\begin{array}{llc}-(1-\hat{y}{)}^{\gamma }\ln \hat{y}& & ify=1\\ -{\hat{y}}^{\gamma }\ln (1-\hat{y})& & ify=0\end{array}$$
    解决难易样本分类的问题
    $$\begin{gathered} ⟺P(y,\hat{y})\cdot CE(y,\hat{y}) \\ 其中P(y,\hat{y})=\{\begin{array}{llc}(1-\hat{y}{)}^{\gamma }& & ify=1\\ {\hat{y}}^{\gamma }& & ify=0\end{array} \end{gathered}$$
    $$at(\hat{y},y)=\{\begin{array}{llc}\alpha & & ify=1\\ 1-\alpha & & ify=0\end{array}$$

    平衡正负样本的系数

    • $\hat{y}$ 反应与类别$y$ 的接近程度越接近y分类越准确

    • 优点 ：

      • 即相比交叉熵损失，focal loss对于分类不准确的样本，损失没有改变，对于分类准确的样本，损失会变小。 整体而言，相当于增加了分类不准确样本在损失函数中的权重。
      • 从样本分类难易程度出发，使loss聚焦于难分样本。

    • forward()

      • @return $$FL(\hat{y},y)\cdot at(y)$$

QFocalLoss()

• quality focal loss 为解决平滑标签 $yϵ(0,1)$ 引申的损失函数

  • $$f(\hat{y},y)=-at(y)\cdot |y-\sigma {|}^{\gamma }\cdot [(1-y)\ln (1-\sigma )+y\cdot \ln \sigma ]$$
    • $at(y)=[y\cdot \alpha +(1-y)\cdot (1-\alpha )]$
      原理同上