Logistic回归，损失函数

分类任务的损失函数

0/1损失：预测类别正确损失为0，否则为1，记为

0/1损失不连续，优化计算不方便

寻找其他替代损失函数（Surrogate Loss Function）

通常是凸函数，计算方便且和0/1损失是一致的。

可以看出，浅蓝色L2损失不是一个好的代理损失，所以优化L2损失并不能很好地优化模型的准确度。

 

Logistic损失

Logistic回归模型：y|x~Bernoulli(μ(x))，

log似然函数为：

log似然函数为：

定义负log似然损失为：

则极大似然估计等价于最小训练集上的负log似然损失：

负log似然损失被称为Logistic损失

Logistic损失被称为交叉熵损失（Cross Entropy Loss）

交叉熵损失：两个分布之间的差异（已知真实分布情况下，预测分布于真实分布之间的差异）

假设已知真值y=1,即y|x~Bernoulli(1)

假设=1的概率为μ(x),

即这两个分部之间的交叉熵为：

综合：

定义Probability of ground truth class为：

则