逻辑回归算法理解（包含损失函数求导过程详细推导）

  逻辑回归模型是应用较为广泛的一个模型，其可以看做是在线性回归的基础上，对结果又加了 $Sigmoid$函数，然后通过设定的分类阈值，来解决二分类问题（即如果结果大于或小于分类阈值）。

一、Sigmoid函数

基本信息

其函数表达式为:$$y(x)=\frac{1}{1+e^{-x}}$$
其图像如下：

特点

通过图像我们可以看出，Sigmoid函数具有以下几个特点：

• 是个单调函数，保证了输出的一致性，线性函数计算出的值越大，对应的Sigmoid函数值越大
• 随着x的值越大或越小Sigmoid的函数值趋于平稳，造成梯度消失
• 函数具有很好的对称性，以$(0,\frac{1}{2})$为对称中心
• 其导数$f^{{}^{\prime }}(x)=f(x)(1-f(x))$，两个大于0小于1的数相乘会导致越来越小，很容易造成梯度消失

二、逻辑回归函数

基本函数

  逻辑回归虽然叫做“回归”，但实际上做的是二分类任务，其基本表达式如下：
$$\begin{array}{rl}\hat{Y}& =Sigmoid({\theta }^{T}X)\\ & =\frac{1}{1+e^{-{\theta }^{T}X}}\end{array}$$

极大似然估计

  逻辑回归本质上也属于一种广义线性模型，其是在假设样本服从伯努利分布的前提下进行的（即所有样本都是独立同分布的，其可能的结果只有0或1两种）。

如果我们把单个样本看成一个事件，那么这个事件发生的概率就是$$P(y|x)=\{\begin{array}{rcl}p,& & y=1\\ 1-p,& & y=0\end{array}$$
分段函数不方便计算，那我们可以对其进行统一，变成：$$P(y_i|x_i)=p^{y_i}(1-p{)}^{1-y_i}$$
当$y_i=1$时，$P=p$；当$y_i=0$时，$P=(1-p)$

  利用极大似然估计，假设我们的样本有$n$个数据，由于不同的样本之间是独立同分布的，那么其合事件的总概率将每一个样本发生的概率相乘即可：
$$\begin{array}{rl}{P}_{总}& =P(y_1|x_1)P(y_2|x_2)...P(y_n|x_n)\\ & =\prod _{i=1}^n{p}^{y_i}(1-p{)}^{1-y_i}\end{array}$$

目标函数

  对于我们的逻辑回归函数而言$P(y=1|x)=\frac{1}{1+e^{-{\theta }^{T}X}}$，$P(y=0|x)=1-P(y=1|x)=\frac{1}{1+e^{{\theta }^{T}X}}$。这里我们设$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}X}}$。

  利用极大似然估计的思想，同时我们对似然函数取对数，我们的目的就是使得整个样本的似然函数足够大，可得（这里的$\log$我们默认是以$e$为底的）$$\begin{array}{rl}L(\theta )& =\underset{\theta }{\mathrm{argmax}}\log \prod _{i=1}^n(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^n{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\\ & =\underset{\theta }{\mathrm{argmin}}-\sum _{i=1}^n{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\end{array}$$

其中$l(\theta )=-\sum _{i=1}^n{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$又被称为交叉熵损失函数，我们选择交叉熵损失函数作为我们的目标函数

参数优化

  至于参数优化的过程我们使用梯度下降即可，下面将详细讲一下求导过程：
$$l(\theta )=-\sum _{i=1}^n{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))$$
其中，$$\log h_{\theta }(x^{(i)})=\log \frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}=-\log (1+e^{-{\theta }^T{x}^{(i)}})$$$$\log (1-h_{\theta }(x^{(i)}))=\log (1-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}})=-{\theta }^T{x}^{(i)}-\log (1+e^{-{\theta }^T{x}^{(i)}})$$
将其带入得：
$$\begin{array}{rl}l(\theta )& =-\sum _{i=1}^n[-y^{(i)}\log (1+e^{-{\theta }^T{x}^{(i)}})-(1-y^{(i)})({\theta }^T{x}^{(i)}+\log (1+e^{-{\theta }^T{x}^{(i)}}))]\\ & =-\sum _{i=1}^n[y^{(i)}{\theta }^T{x}^{(i)}-{\theta }^T{x}^{(i)}-\log (1+e^{-{\theta }^T{x}^{(i)}})]\\ & =-\sum _{i=1}^n[y^{(i)}{\theta }^T{x}^{(i)}-(\log e^{{\theta }^T{x}^{(i)}}+\log (1+e^{-{\theta }^T{x}^{(i)}})]\\ & =-\sum _{i=1}^n[y^{(i)}{\theta }^T{x}^{(i)}-\log (1+e^{{\theta }^T{x}^{(i)}})]\\ & =\sum _{i=1}^n[\log (1+e^{{\theta }^T{x}^{(i)}})-y^{(i)}{\theta }^T{x}^{(i)}]\end{array}$$
这时我们再对$l(\theta )$的某个参数分量${\theta }_j$求偏导得：
$$\begin{array}{rl}\frac{\partial l(\theta )}{\partial {\theta }_j}& =\sum _{i=1}^n(\frac{e^{{\theta }^T{x}^{(i)}}{x}_j^{(i)}}{1+e^{{\theta }^T{x}^{(i)}}}-y^{(i)}{x}_j^{(i)})\\ & =\sum _{i=1}^n(h_{\theta }(x^{(i)})-y^{}(i))x_j^{(i)}\end{array}$$
此时我们就可以更新参数${\theta }_j$：
$${\theta }_j={\theta }_j-\alpha \frac{\partial l(\theta )}{\partial {\theta }_j}$$
其中$\alpha$为学习率，控制我们梯度下降的速度