损失函数小结 - Loss function

Loss func

1. 关联的激活函数

1.1 Softmax

$$y_i=e^{x_i}/\sum _{j=0}^n{e}^j,.$$

多个结点的输出转换为概率，且合为1。

1.2 Sigmoid

$$y_i=1/(1+e^{-x_i})$$

这个的意义是让单个神经元结点输出 0-1 的概率值，用于多个结点的话，就是多标签分类（一个物品可以有多个标签）

2.NLL Negative log-likelihood

$$L=-\sum (t_i\ast log{y}_i)$$

似然, 即参数估计，起步于分类。需要伴随一个one-hot标签t,即t只为0 or 1, size为种类数C

3. Cross-Entropy

Softmax + NLL, 常用于多分类（一个物体只能属于一个类）

4. binary Cross-Entropy

NLL的一种二值形式，即 t只有2个维度。可化作1维，即0和1。对单个样本x_i 有如下：

$$L_i=-w[t_i\ast log{x}_i+(1-t_i)\ast log(1-x_i)]$$

注：x_i之前一般要套一个sigmoid让x的所有元素值在[0,1]

参考

• https://www.cnblogs.com/ZJUT-jiangnan/p/5489047.html

• https://blog.csdn.net/silver1225/article/details/88914652

• https://pytorch.org/docs/stable/generated/torch.nn.NLLLoss.html#torch.nn.NLLLoss

• https://ljvmiranda921.github.io/notebook/2017/08/13/softmax-and-the-negative-log-likelihood/