Logistic Regrestion (逻辑斯蒂克回归)

Logistic Regrestion (逻辑斯蒂克回归)

为什么使用Logistic regression

给定训练数据，有无数种Linear regression分类(超平面 $Wx+b$)，无法确定两个超平面孰优孰劣。导致了线性回归模型分类的方法鲁棒性差，在整体数据上分类精度较差。针对上述问题，引入了Logistic regression。

什么是Logistic regression

Logistic regression采用假设检验的思想，设
$$\begin{gathered} \hat{y}=P(y=1|x,\theta )=\frac{1}{1+e^{-{\theta }^{T}x}} \\ \theta =[w1,w\mathrm{2...}wn,b],x=[x1,x\mathrm{2...}xn,1] \end{gathered}$$
概率P表示假设： $y=1$ 的置信度。同理可得
$$1-\hat{y}=P(y=0|x,\theta )=\frac{e^{-{\theta }^{T}x}}{1+e^{-{\theta }^{T}x}}$$
表示假设y=0的置信度。

令
$$P(Y|x,\theta )={\hat{y}}^y+(1-\hat{y}{)}^{1-y}$$
示整体的假设检验概率。 使用log函数对P进行简化：
$$logP=ylog(\hat{y})+(1-y)log(1-\hat{y})$$
$logP$ 表示全体假设成立的概率。Logistic regression 目标为使得全体假设成立的概率最大化所对应的参数$\theta$ .
所以，由此可以得到用于优化的损失函数 ：
$$\begin{array}{rl}Lost(x,\theta )& =-logP\\ & =-ylog(\hat{y})-(1-y)log(1-\hat{y})\end{array}$$
其中，计算置信度的函数为sigmoid函数：
$$sigmoid(x)=\frac{1}{1+e^{-x}}\text{\hspace{1em}(6)}$$
计算梯度：
$$\begin{gathered} d{w}_i=(\hat{y}-y)\times x_i \\ db=\hat{y}-y\text{\hspace{1em}(7)} \end{gathered}$$