Logistic回归 - 损失函数推导(最大似然&交叉熵)

Logistic Regression

$Logistic$回归

$Logistic$回归是一种常见的用于处理二分类问题的线性分类模型。

所谓线性分类模型：决策边界为线性超平面

模型：
$$\hat{y}=\sigma (wx+b)$$

• $\sigma ()$为激活函数，作用是将线性函数的值域从实数区间“挤压”到$(0,1)$之间，可用来表示概率。$\sigma =\frac{1}{1+e^{-z}}$
• $\hat{y}$的意义为$p(y=1|x,w)$即给定$x$和参数$w$时$y=1$的估计概率。
  • 若$\hat{y}>0.5$，即$wx+b>0$，得出分类$y=1$。

参考线性回归损失函数：
$$\begin{gathered} 损失函数loss=(\hat{y}-y{)}^2 \\ 代价函数cost=\frac{1}{N}\sum _{n=1}^N(\widehat{y_n}-y_n{)}^2 \end{gathered}$$

$Logistic$的损失函数是什么？如何拟合$Logistic$的参数$w$？

$Logistic$回归采用交叉熵$(BCEloss)$作为损失函数，并使用梯度下降法对参数进行优化

最大似然估计角度解释

似然函数$L(\theta )$是描述不同$\theta$，出现这个样本点$y|x$的概率。故要求使$L(\theta )$最大的$\theta$(即拟合参数$\theta$的过程)

---

交叉熵角度解释

KL散度是衡量两个概率分布的差异

对于$Logistic$回归，假设真实的$label$概率分布为$P(x)$,模型预测的为$Q(x)$，那么就可以用KL散度衡量预测值与真实值概率模型之间的差异；

KL散度公式：

$$\begin{gathered} D_{KL}(P||Q)=\sum _{i=1}^m{p}_i((-log{q}_i)-(-log{p}_i)) \\ =\sum _{i=1}^m{p}_i(-log{q}_i)-\sum _{i=1}^m{p}_i(-log{p}_i)=H(P,Q)-H(P) \end{gathered}$$

然后$H(P)$(真实值的熵)为固定值，所以$H(P,Q)$交叉熵越小，KL散度越大，预测值与真实值之间差异越大，故选取交叉熵作为$logistic$回归的损失函数。

交叉熵公式：

$$H(P,Q)=-\sum _{i=1}^m{p}_{i}log{q}_i$$

$logistic$回归中$m=2$，得到二元交叉熵：
$$\begin{gathered} H(P,Q)=-(p_1(log{q}_1)+p_2(log{q}_2)) \\ =-(p_1(log{q}_1)+(1-p_1)(log(1-q_2))) \\ =-(ylog(h_{\theta }(x))+(1-y)log(1-h_{\theta }(x))) \end{gathered}$$

---

综上：
Logistic交叉熵损失函数如下$BCEloss$：
$$损失函数loss=-(ylog(\hat{y})+(1-y)log(1-\hat{y}))$$

$$代价函数cost=-\frac{1}{N}\sum _{n=1}^N{y}_{n}log(\widehat{y_n})+(1-y_n)log(1-\widehat{y_n})$$

$$\frac{\partial cost}{\partial w}=-\frac{1}{N}\sum _{n=1}^N{x}_n(y_n-\widehat{y_n})$$

然后利用梯度下降法进行迭代更新参数：
$$w=w-\alpha \frac{\partial cost}{\partial w}$$