逻辑斯蒂回归之sigmoid函数

一. LR的数学形式

$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

二. LR为什么用sigmoid函数

2.1 广义线性模型(GLM)

GLM是$y$服从指数族分布的一般分布模型。
首先需要知道，线性回归和逻辑斯蒂回归都是GLM的特殊形式：

• 在线性回归中假设$y$服从高斯分布：
  $$y|x;\theta \sim \mathbb{N}(\mu ,{\sigma }^2)$$
• 在逻辑斯蒂回归中假设$y$服从伯努利分布：
  $$y|x;\theta \sim Bernoulli(\varphi )$$
• 高斯分布和$Bernoulli$分布都属于指数分布族

2.2 指数族分布

在概率统计中，若某概率分布满足下式，我们称之为指数族分布：
$$p(y;\eta )=b(y)e^{({\eta }^{T}T(y)-a(\eta ))}$$

• $\eta$为自然参数
• $T(y)$为充分统计量(一般情况下$T(y)=y$)
• $a(\eta )$是 log partition function , $e^{-a(\eta )}$起正规化常量的作用，保证$\sum p(y;\eta )=1$
• 也就是所 $T,a,b$ 确定了一种分布，$\eta$是该分布的参数。
• 选择合适的$T,a,b$ ，可以得到高斯分布和$Bernoulli$分布

2.3 Bernoulli分布的指数分布族形式

$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =exp(ln({\varphi }^y(1-\varphi {)}^{1-y})\\ & =exp(ln\frac{{\varphi }^y}{(1-\varphi {)}^y}(1-\varphi ))\\ & =exp((ln(\frac{\varphi }{1-\varphi }))y+ln(1-\varphi ))\end{array}⟹\begin{array}{rl}& \eta =ln(\frac{\varphi }{1-\varphi })⟶\varphi =\frac{1}{1+e^{-\eta }}\\ & T(y)=y\\ & a(\eta )=-ln(1-\varphi )=ln(1+e^{\eta })\\ & b(y)=1\end{array}$$

2.4 广义线性模型建模的基本假设

用广义线性模型建模的假设：

• $y$的条件概率属于指数分布族
  • $y|x;\theta \sim \text{Exponential Family}$
• 给定$x$，广义线性模型的目标是求解$T(y)|x$
  • 在大多数情况下，$T(y)=y$，目标转变为求解 $y|x$
  • 即，希望拟合函数 $h_{\theta }(x)=E(y|x)$
  • 譬如，在逻辑回归中$h_{\theta }(x)=p(y=1|x,\theta )=0\cdot p(y=0|x,\theta )+1\cdot (y=1|x,\theta )=E[y|x;\theta ]$
• $\eta$与$x$是线性关系：
  • $\eta ={\theta }^{T}x$

2.5 广义线性模型推导出LR

$$\begin{array}{rl}{h}_{\theta }(x)& =E[y|x;\theta ]\\ & =\varphi \\ & =\frac{1}{1+e^{-\eta }}\\ & =\frac{1}{1+e^{-{\theta }^{T}x}}\end{array}$$

参考资料

广义线性模型（Generalized Linear Model）