Logistic Regression 与交叉熵损失函数理解及常用损失函数总结

第一部分 Logistic Regression 与交叉熵损失函数理解

先了解什么是logistics 回归：

 hθ(x)为激活值或者预测值。g(z)就是sigmoid函数。sigmoid函数yiby一般用于二分类时作为最后输出层的激活函数

似然损失函数cost function：

解释下对数似然损失函数原理：是如何起损失函数作用的：

当y=1时，假定这个样本为正类。如果此时预测值hθ(x)=1,则单对这个样本而言的其损失就为0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的损失=0 
但是如果此时预测值hθ(x)=0，那么cost→∞。这样的话，由于此时样本为一个正样本，但是预测的结果P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0，那么此时就要对损失函数加一个很大的惩罚项。 

同理当y=0时，也是一样的推导，在这不再赘述。

用极大似然法将以上两个表达式合并为一个，则总样本的损失函数可以描述为下式。

所谓softmax损失函数，就是softmax中则通过取exponential的方式（softmax中e^x计算）并进行归一化得到某个样本属于某类的概率（如下公式进行计算），就是避免正负值抵消。再通过似然损失函数计算。

所谓逻辑斯特损失函数就是通过simgoid将预测值转换为概率值，再通过似然损失函数进行计算。

 

第二部分：常用损失函数

机器学习或者统计机器学习常见的损失函数如下：

1.平方损失函数（quadratic loss function) 

 

2.绝对值损失函数(absolute loss function) 

3.0-1损失函数 （0-1 loss function） 

 

4.对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function) 

 

逻辑回归中，采用的则是对数损失函数。如果损失函数越小，表示模型越好。