手推 逻辑回归（logistic regression）

logistic 回归

#TOC

一、构造hypothesis假设函数

Logistic Regression 可以看做是一个 线性回归（Linear Regression） 经过一个sigmod激活函数 的结果。
线性回归方程：$ \theta_0 + \theta_1x_1+ \theta_2x_2+…+ \theta_n*n_n = \theta^T * x$
sigmoid函数：$$g(z)=\frac{1}{1+e^{-z}}$$
所以hypothesis 函数 $$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
$h_{\theta }(x)$表示为样本预测正例的概率
即：
KaTeX parse error: No such environment: equation at position 9: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \begin…

可以将公式（1）合并成：
$$P(y|x;\theta )=h_{\theta }(x^{(i)}{)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\text{\hspace{1em}(2)}$$

二、构造损失函数

下面介绍两种不同的构造假设函数的方法：
第一种是来源于NG的机器学习课程；
第二种是以概率的方式通过极大似然来构造代价函数

直接构造损失函数

构造代价函数：
KaTeX parse error: No such environment: equation at position 23: …heta) = \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \left\{ \begin…
[外链图片转存失败(img-NybE3yxJ-1565846168527)(media/15655785068654/15657637829206.jpg)]
如图一：
当y = 1，
若假设函数预测结果为1。 则代价函数为0；
当假设函数预测结果越接近0时，其代价就越大。
当 y = 0时同理
将两式化归一起：
$$Cost(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)}$$

使用概率知识，通过极大似然构造损失函数

优化的目标是是的$P(y|x;\theta )$的预测值最接近观测值。即使得：
${\prod }_{i=1}^{m}P(y_i|x;\theta )$的值取得最大。
构造似然函数：
$$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m(h_{\theta }(x){)}^{y^{(i)}}(1-h_{\theta }(x){)}^{1-y^{(i)}}$$
取对数：
$$\begin{gathered} l(\theta )=\sum _{i=1}^{m}log((h_{\theta }(x){)}^{y^{(i)}}(1-h_{\theta }^{y^{(i)}}(x){)}^{1-y^{(i)}}) \\ =\sum _{i=1}^{m}lo{g}^{(h_{\theta }(x){)}^{y^{(i)}}}+lo{g}^{(1-h_{\theta }(x){)}^{1-y^{(i)}}} \\ =\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)} \end{gathered}$$
将求对数似然函数的极大值转变成求解代价函数的极小值：
令：$$J(\theta )=-\frac{1}{m}l(\theta )$$
损失函数最终形式：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)}$$

三、损失函数优化（梯度下降）

sigmod 函数求导性质：
$$g^{\prime }(z)=g(z)(1-g(z))$$

$$\begin{gathered} \Delta \theta =\frac{\partial J(\theta )}{\partial \theta } \\ =-\frac{1}{m}\sum _{i=1}^m\frac{y}{h_{\theta }(x)}{h}_{\theta }(x)(1-h_{\theta }(x))x+\frac{(1-y_i)}{1-h_{\theta }(x)}\ast -1\ast h_{\theta }(x)(1-h_{\theta }(x))x \\ =-\frac{1}{m}\sum _{i=1}^{m}y(1-h_{\theta }(x))x-(1-y)h_{\theta }(x)x \\ =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}))x^{(i)} \end{gathered}$$

参数更新：
$${\theta }_j={\theta }_j-\alpha \Delta {\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$$

四、正则

L1 正则：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)}+\lambda ||\theta ||$$
L2 正则：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}lo{g}^{h_{\theta }(x)}+(1-y^{(i)})lo{g}^{1-h_{\theta }(x)}+\lambda |||\theta |{|}^2$$

五、logistic Regression 为什么要使用 sigmod 函数

指数分布族概念：可以表示为指数形式的概率分布。
$$f_X(x|\theta )=h(x)exp(\eta (\theta )\ast T(x)-A(\theta ))$$

将伯努利分布化成指数分布族的形式：
KaTeX parse error: No such environment: equation at position 9: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …

因此可以得出：
$$\eta =log\frac{\varphi }{1-\varphi }$$
可以化简出：
$$\varphi =\frac{1}{1+e^{-\eta }}$$

logistic 模型的前置概率估计是伯努利分布

为什么不用均方差值作为损失函数吗？

因为使用均方差作为损失函数是非凸函数。