逻辑回归的两种交叉熵损失函数

序

前面介绍了二分类与多分类情况下交叉熵损失的不同以及原因，但是在二分类中，逻辑回归的交叉熵损失函数同样具有两种形式，其原因是由类别取值所导致的。

类别取值为0和1

1. 逻辑回归中我们给定的假设函数（目标函数）是给定x的条件下，预测其属于类别1的概率，线性回归中的目标函数是：

   
   
   
   
   

   其中z是一个实数值，显然不能直接作为逻辑分类的预测值，因此想办法将其映射为概率值，引入了sigmoid函数，那么逻辑回归的假设函数就是：

   
   
   

2. 有了假设函数，我们先尝试借鉴线性回归的方式定义损失函数：

   
   
   
   
   

   但是发现这样的损失函数并不是一个严格的凸函数，容易陷入局部最优解，因此摒弃该损失函数。
   由于我们引入的sigmoid可视作是类别为1的后验概率（说白了，就是给一个x，那么可以通过sigmoid算出来该样本点属于类别1的概率），所以可以得到类别为1以及类别为0时的条件概率为：

   
   
   
   
   上面两式合并在一起：
   
   

3. MLE
   ok，现在我们得到了逻辑回归的分布函数（即最终的目标函数），那么我们现在为了唯一确定最优的模型，需要对模型中的参数进行估计。引入极大似然估计法，回忆一下MLE的目标，就是通过极大化已出现样本的联合概率来求解出我们认为最优的参数。
   根据极大似然法以及联合概率求解，得到：

   
   
   
   
   

   为了简化运算，我们对上面这个等式的两边取对数：

   
   
   
   
   目标就是找到使得上式最大的参数w，没错，对上式加上负号，就得到了逻辑回归的代价函数：
   
   

---

类别为 1 和 -1 的情况

首先回忆sigmoid的特殊性质：

如果 y = +1 时

如果 y = -1 时：

因为 y 取值为 +1 或 -1，可以把 y 值带入，将上面两个式子整合到一起：

引入MLE：

将sigmoid形式代入：

那么就推导出该情况下的交叉熵的损失函数形式了。

如果有N个样本，那么：

转载注明：https://www.jianshu.com/p/a5b366c5f77f