逻辑回归(logistics regression)

逻辑回归是一种广义的线性回归模型，它通过一个单调可微的函数将结果标签和线性回归预测值联系起来，在西瓜书中开头便介绍了单位阶跃函数
$$f(x)=\{\begin{array}{rlr}0& =& z<0\\ 0.5& =& z=0\\ 1& =& z<0\end{array}$$
显然这个函数不连续也不可微，那么我们便找到了一种新的替代函数：sigmoid函数
$$sigmoidf(z)=\frac{1}{1+e^{-z}}$$
这个函数曾经是深度学习最常用的激活函数，但是因为求导最大值为0.25，容易造成梯度消失等原因，被像线性整流函数（ReLu）等抢走了风头。讲了点题外话～～

那么在二分类问题中，常常以0.5作为分界线，将结果划分为两类，从上面的图像也可以看出，sigmoid函数非常的适合。
接下来对sigmoid函数进行求导：
$$\begin{gathered} \frac{df(z)}{dz}=\frac{e^{-z}}{(1+e^{-z}{)}^2} \\ =\frac{1}{1+e^{-z}}\ast \frac{e^{-z}}{1+e^{-z}} \\ =f(z)(1-f(z)) \end{gathered}$$
令$z=w^{\top }x$逻辑回归的表达式为$h_z(x)=\frac{1}{1+e^{-z^{\top }x}}$
注：像西瓜书介绍多元线性回归一样，这里z的长度为k+1（k为属性数量）最后一个数代表偏置 $b$的值，而在x中也要拼接一个1在最后，用来和z的最后一个数相乘以表示$b$。

我们将$f(z)$的取值记为为y取1的概率，那么$p(y=1|x;z)=h_z(x)$
相反的$p(y=0|x;z)=1-h_z(x)$
查阅了非常多的资料，将上述两式子综合在一起写成
$$p(y_i|x_i;z)=h_z(x{)}^y(1-h_z(x){)}^{1-y}$$
其实我并不是特别理解这个写法，但经过学习，我认为应该是代表样本的概率密度函数。
这里通过最大似然估计求解参数$z$。
似然函数如下：
$$L(z)=\prod _{i=1}^m{h}_z(x{)}^y(1-h_z(x){)}^{1-y}$$
对上式取对数$L(z)=lnL(z)$
$$L(z)=\sum _{i=1}^{m}yln{h}_z(x)+(1-y)ln(1-h_z(x))$$
对$L(z)$求$w$的导数

$$\begin{gathered} \frac{dL(z)}{dw}=\sum _{i=1}^m(y\frac{1}{h_z(x)}-(1-y)\frac{1}{1-h_z(x)})\frac{\partial h_z(x)}{\partial w} \\ =\sum _{i=1}^m(y\frac{1}{h_z(x)}-(1-y)\frac{1}{1-h_z(x)})h_z(x)(1-h_z(x))\frac{\partial w^{\top }x}{\partial w} \\ =\sum _{i=1}^m[y(1-h_z(x)-(1-y)h_z(x)]x \\ =\sum _{i=1}^m(y-h)x \end{gathered}$$
上面x，y，z均没有打下标。
我们得到了$w$的更新方向。
$$w:=w+\alpha \sum _{i=1}^m(y-h)x$$
因为要求最大值，所以使用的是梯度上升法，$\alpha$代表学习速率。关于上面式子中的求和符号，其实就是batch_size，你也可以每次只考虑一个样本，即在线学习。那么更新的公式如下：
$$w:=w+\alpha (y-h)x$$