二元交叉熵损失函数

交叉熵损失

交叉熵：
H(y⁽ⁱ⁾,$\hat{y}$⁽ⁱ⁾) = -${\sum }_{j=0}^q$y_j⁽ⁱ⁾ log $\hat{y}$_j⁽ⁱ⁾

其中向量y⁽ⁱ⁾维度是(1, q)，q为特征数量。交叉熵只关心对正确类别的预测概率，y⁽ⁱ⁾向量中只有某个值为1，其余全为0。

交叉熵损失函数定义为：

L = $\frac{1}{n}$ ${\sum }_{i=1}^n$H(y⁽ⁱ⁾,$\hat{y}$⁽ⁱ⁾)

二元交叉熵损失

L(w) = -${\sum }_{i=0}^N$[y_ilog$\sigma$(x_i) + (1 - y_i)log(1 - $\sigma$(x_i))]

其中，$\sigma$(x)是sigmoid函数，即：

$\sigma$(x) = $\frac{1}{1+e^{-z}}$

解释

可视化的方法解释对数损失
交叉熵详解