逻辑回归（logistic regression）损失函数（loss function）推导

逻辑回归（logistic regression）

逻辑回归（LR）可以看做线性回归（linear regression）的拓展，二者的区别是：逻辑回归的结果为0或1，即分类；线性回归的结果是连续值，即回归¹。

Binary LR

本文重点在二分类逻辑回归，其一般形式为：
$$\hat{y}=\sigma (z)=\sigma ({\mathbf{x}}^{\mathbf{T}}\mathbf{w}).$$
注意，这里$\sigma (z)$是Sigmoid函数²：
$$\sigma (z)=\frac{1}{1+e^{-z}}.$$

Loss Function

对于分类问题，我们一般用交叉熵³（Cross Entropy）当损失函数。对于LR这种二分类问题，交叉熵简化为Binary Cross Entropy，即：

$$\ell =-y\log (\hat{y})-(1-y)\log (1-\hat{y}).$$

但是在阅读一些论文⁴时，我发现里面LR的损失函数是这样的：
$$\ell =\log (1+e^{{\mathbf{x}}^{\mathbf{T}}\mathbf{w}})-y{\mathbf{x}}^{\mathbf{T}}\mathbf{w}.$$
本以为这个文章用的不是Binary Cross Entropy，直到我在StackExchange⁵上看了一个回答，才发现这俩函数可以互相推导！我现在重新推一遍，给自己加深下印象，也方便以后查阅。

推导过程

主要参考这个页面⁶。

推导之前，先给出Sigmoid函数的一个性质，即$\sigma (-z)=1-\sigma (z)$：
$$\sigma (-z)=\frac{1}{1+e^z}=1-\frac{1}{1+e^{-z}}=\frac{e^{-z}}{1+e^{-z}}.$$

为了阅读方便，我从Binary Cross Entropy的相反数推导，最后取负：
$$\begin{gathered} -\ell =y\log \sigma (z)+(1-y)\log (1-\sigma (z)) \\ =y(\log \sigma (z)-\log \sigma (-z))+\log \sigma (-z) \\ =y\log \frac{\sigma (z)}{\sigma (-z)}+\log \sigma (-z) \\ =y\log \left(\frac{1+e^z}{1+e^{-z}}\right)+\log \sigma (-z) \\ =y\log \left(\frac{e^z(e^{-z}+1)}{1+e^{-z}}\right)+\log \sigma (-z) \\ =yz+\log \sigma (-z) \\ =y{\mathbf{x}}^{\mathbf{T}}\mathbf{w}-\log (1+e^z). \end{gathered}$$
最后，取负，可得：
$$\ell =\log (1+e^{{\mathbf{x}}^{\mathbf{T}}\mathbf{w}})-y{\mathbf{x}}^{\mathbf{T}}\mathbf{w}.$$
证毕。

值得一提的是，上述推导中隐含了这一步$\log e^z=z$，但是交叉熵的$\log$基底一般为2，所以更准确的推导应该是：
$${\log }_2{e}^z=\frac{{\log }_e{e}^z}{{\log }_{e}2}=\frac{z}{{\log }_{e}2}.$$
公式中${\log }_{e}2$只是一个简单的常数，我们在推导过程中可以直接省略，对损失函数的解不会产生影响。关于$\log$的换底公式，请参考这篇文章⁷。

---

1. https://en.wikipedia.org/wiki/Logistic_regression ↩︎

2. https://blog.csdn.net/u014261408/article/details/106150098 ↩︎

3. https://gombru.github.io/2018/05/23/cross_entropy_loss/ ↩︎

4. https://arxiv.org/pdf/1911.04587.pdf ↩︎

5. https://stats.stackexchange.com/questions/250937/which-loss-function-is-correct-for-logistic-regression ↩︎

6. https://github.com/moralesq/Knet-the-Julia-dope/blob/master/chapter02_supervised-learning/section3-logistic-regression.ipynb ↩︎

7. https://blog.csdn.net/u014261408/article/details/102564612 ↩︎