损失函数基础——交叉熵函数二分类推导整理

二分类推导

Logistics Regression

先从线性回归开始
$$h_w\left(x^i\right)=w_0+w_1{x}_1+w{x}_2+\dots +w_n{x}_n$$

$$h_w\left(x^j\right)=w^T{x}_i=W^{T}X$$

$$X=\left[\begin{array}{c}1\\ x_1\\ \dots \\ x_n\end{array}\right]W=\left[\begin{array}{c}{w}_0\\ w_1\\ \dots \\ w_n\end{array}\right]$$
针对线性分类器而言，他解决的是回归问题，为了能更好进行分类问题的探讨，这里就引出了 Logistics 回归。

基础知识

逻辑回归是假设数据服从 Bernoulli 分布（抛硬币），因此LR属于参数模型。

其中是对于线性模型，加上了一个 Sigmoid 函数，这个也是神经网络的激活函数，拥有很多良好的特性。1. 拥有很好的激活特性，2. 求导很容易，这一点在 GD 上太重要了，对于 NN 的 BPTT 也起到了极为重要的作用。

LR 目标函数定义：$h_w(x)=g\left(w^{T}x\right)$
其中 Sigmoid 函数 g(z) 的定义：$g(z)=\frac{1}{1+e^{-z}}$
Sigmoid 函数求导 g‘(z) 为：
$$\begin{array}{rl}{g}^{\prime }(z)& =\frac{d}{dz}\frac{1}{1+e^{-z}}\\ & =\frac{1}{{\left(1+e^{-z}\right)}^2}\left(e^{-z}\right)\\ & =\frac{1}{\left(1+e^{-z}\right)}\cdot \left(1-\frac{1}{\left(1+e^{-z}\right)}\right)\\ & =g(z)(1-g(z))\end{array}$$

似然函数

参考三个概念一个例子。
三个概念：伯努利分布，似然函数，最大似然估计
一个例子：扔硬币
这里的参数 $w$ 是我们要估计的参数，似然函数正比于我们的概率函数
$L(w|x)\propto P(x|w)$，累乘后得到整体的似然函数表达：
$$L(w)=\prod P{\left({\mathrm{y}}_i=1|{\mathrm{x}}_i\right)}^{y_i}{\left(1-P\left({\mathrm{y}}_i=1|{\mathrm{x}}_i\right)\right)}^{1-y_i}$$$$\begin{array}{rl}L(w)& =p(Y|w,X)\\ & =\prod _{i=1}^m{\left(h_w\left(x^{(i)}\right)\right)}^{y^{(i)}}{\left(1-h_w\left(x^{(i)}\right)\right)}^{1-y^{(i)}}\end{array}$$
累乘的形式不利于进行优化分析，这里将似然函数取对数，得到对数似然函数，作为我们的最终优化目标，运用极大似然估计来求得最优的 $w$
$$\begin{array}{rl}\ell (w)& =\log L(w)\\ & =\sum _{i=1}^m{y}^{(i)}\log h\left(x^{(i)}\right)+\left(1-y^{(i)}\right)\log \left(1-h\left(x^{(i)}\right)\right)\end{array}$$

最优化求解推导

利用链式法对目标函数则进行求导以求得最优参数。
$$\frac{\partial }{w_j}J(w)=\frac{\partial J(w)}{\partial g\left(w^{T}x\right)}\ast \frac{\partial g\left(w^{T}x\right)}{\partial w^{T}x}\ast \frac{\partial w^{T}x}{\partial w_j}$$
分三部分求导：

第一部分
$$\frac{\partial J(\theta )}{\partial g\left({\theta }^{T}x\right)}=y\ast \frac{1}{g\left({\theta }^{T}x\right)}+(y-1)\ast \frac{1}{1-g\left({\theta }^{T_x}x\right)}$$

第二部分
$$\frac{\partial g\left(w^{T}x\right)}{\partial w^{T}x}=g\left(w^{T}x\right)\left(1-g\left(w^{T}x\right)\right)$$

第三部分
$$\frac{\partial w^{T}x}{w_j}=\frac{\partial J\left(w_1{x}_1+w_2{x}_2+\cdots w_n{x}_n\right)}{\partial w_j}=x_j$$

整理得到最终形式
$$\begin{array}{rl}\frac{\partial }{\partial w_j}\ell (w)& =\left(y\frac{1}{g\left(w^{T}x\right)}-(1-y)\frac{1}{1-g\left(w^{T}x\right)}\right)\frac{\partial }{\partial w_j}g\left(w^{T}x\right)\\ & =\left(y\frac{1}{g\left(w^{T}x\right)}-(1-y)\frac{1}{1-g\left(w^{T}x\right)}\right)g\left(w^{T}x\right)\left(1-g\left(w^{T}x)\right)\right)\frac{\partial }{\partial w_j}{w}^{T}x\\ & =\left(y\left(1-g\left(w^{T}x\right)\right)-(1-y)g\left(w^{T}x\right)\right)x_j\\ & =\left(y-h_w(x)\right)x_j\end{array}$$
因此总的 θ 更新公式为:
$$w_j:=w_j+\alpha \left(y^{(i)}-h_w\left(x^{(i)}\right)\right)x_j^{(i)}$$
总结：逻辑回归的优化目标是极大化对数似然估计，采用梯度上升来学习及更新参数 $w$ 向量的值。