logistic regression（逻辑斯蒂回归）

• logistic分布
• 二项logistic回归模型
• 模型参数估计
• 多项logistic回归

一、logistic分布

$X$是连续随机变量，$X$~logistic分布，则有以下分布函数和密度函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-}\frac{x-u}{r}}$$
$$f(x)=F^{{}^{\prime }}(x)=\frac{e^{-}\frac{x-u}{r}}{r(1+e^{-}\frac{x-u}{r}{)}^2}$$
其中，$u$是位置参数，$r$是形状参数，$r>0$.
$F(x)$的函数图像是一条S型曲线，以点$(u,\frac{1}{2})$中心对称，即有：
$$F(-x+u)-\frac{1}{2}=-F(x+u)+\frac{1}{2}$$
该函数图像的性质有：
$r$值越小，曲线在对称中心附近增长得越快。

二、二项logistic回归模型

概念：

二项logistic回归模型是如下的条件概率分布：
$$P(Y=1\mid x)=\frac{e^{wx+b}}{1+e^{wx+b}}$$
$$P(Y=0\mid x)=\frac{1}{1+e^{wx+b}}$$
其中，$x\in R^n$是输入，$Y\in \{0,1\}$是输出，$w\in R^n$，$b\in R$为参数。把参数向量化，记为$\mathbf{w}\mathbf{x}$。将上式简写为：
$$P(Y=1\mid x)=\frac{e^{wx}}{1+e^{wx}}$$
$$P(Y=0\mid x)=\frac{1}{1+e^{wx}}$$
其中，$w=(w^{(1)},w^{(2)},\cdots ,w^{(n)},b{)}^T$,
$x=(x^{(1)},x^{(2)},\cdots ,x^{(n)},1{)}^T$

特点：

一个事件发生的几率（odds）$=\frac{\text{该}事件发生的概率}{\text{该}事件不发生的概率}=\frac{p}{1-p}$

\quad \quad 对数几率/logit函数$=logit(p)=log\frac{p}{1-p}$

1. 对数几率$log\frac{P(Y=1\mid x)}{1-P(Y=1\mid x)}=wx$是输入$x$的线性函数。
2. 换一种思考的角度：把输入$x$的线性函数$wx$使用公式$P(Y=1\mid x)=\frac{e^{wx}}{1+e^{wx}}$转换成一个概率，$wx\to +\infty$，$P\to 1$;$wx\to -\infty$，$P\to 0$。和神经网络中最经典的激活函数$sigmoid$函数图像性质相同。

三、模型参数估计

\quad \quad 训练数据集$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$,
$x_i\in R^n,y_i\in \{0,1\}$.使用极大似然法来估计模型参数$w$,从而得到logistic回归模型。
\quad \quad 设$P(Y=1\mid x)=\pi (x)$,$P(Y=0\mid x)=1-\pi (x)$.
似然函数$={\prod }_{i=1}^N(\pi (x_i){)}^{y_i}(1-\pi (x_i){)}^{1-y_i}$.
对数似然函数记为$L(w)$.
$$\begin{array}{rl}L(w)& =\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))]\\ & =\sum _{i=1}^N[y_i(w{x}_i)-log(1+e^{w{x}_i})]\end{array}$$
\quad \quad 对$L(w)$求极大，得到$w$的估计值。
问题转化为：$L(w)$的最优化问题，使用梯度下降法或拟牛顿法求解。
\quad \quad 设$w$的极大似然估计为$\hat{w}$，则logistic回归模型为：
$$P(Y=1\mid x)=\frac{e^{\hat{w}x}}{1+e^{\hat{w}x}}$$
$$P(Y=0\mid x)=\frac{1}{1+e^{\hat{w}x}}$$

四、多项logistic回归

设$Y\in \{1,2,\cdots ,k\}$。则多项logistic回归模型可以表示为：
$$\begin{array}{rl}& P(Y=k\mid x)=\frac{e^{e_{k}x}}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}},k=1,2,\cdots ,K-1\\ & P(Y=K\mid x)=\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}}\end{array}$$
其中，$x\in R^{n+1},w_k\in R^{n+1}$