逻辑斯蒂回归模型——逻辑斯蒂分布、二项逻辑斯蒂回归模型、参数估计与多项逻辑斯蒂回归

本笔记整理自李航老师《统计学习方法》第二版 第六章

逻辑斯蒂回归是统计学习中经典的分类方法。

逻辑斯蒂分布

$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$f(x)=F^{\prime }(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$
称分布函数为 $F(x)$，密度函数为 $f(x)$ 的连续随机变量 $X$ 服从逻辑斯蒂分布。其中，$\mu$ 为位置参数，$\gamma >0$ 为形状参数。分布函数 $F(x)$ 属于逻辑斯蒂函数，图形是一条 $S$ 形曲线。该曲线以点 $(\mu ,\frac{1}{2})$ 中心对称，即满足：
$$F(-x+\mu )-\frac{1}{2}=-F(x+\mu )+\frac{1}{2}$$
该曲线在中心附近增长速度快，在两端增长速度慢。形状参数 $\gamma$ 的值越小，曲线在中心附近增长越快。

逻辑斯蒂回归

满足以下条件概率分布：
$$P(Y=1|x)=\frac{exp(\omega \cdot x+b)}{1+exp(\omega \cdot x+b)}$$
$$P(Y=0|x)=\frac{1}{1+exp(\omega \cdot x+b)}$$
对于给定的输入实例 $x$，按照上式求得 $P(Y=1|x)$ 和 $P(Y=0|x)$。比较两个概率值的大小，将实例 $x$ 分到概率值较大的那一类。

模型参数估计

应用极大似然估计法估计模型参数。
设：
$$P(Y=1|x)=\pi (x),P(Y=0|x)=1-\pi (x)$$
似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
对数似然函数为：
$$\begin{gathered} L(\omega )=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))] \\ =\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i))] \\ =\sum _{i=1}^N[y_i(\omega \cdot x_i)-log(1+exp(\omega \cdot x_i))] \end{gathered}$$
对 $L(\omega )$ 求极大值，得到 $\omega$ 的估计值，进而求出样本 $x$ 的概率估计。这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用梯度下降法及拟牛顿法。

多项逻辑斯蒂回归

用于多类分类，模型为：
$$P(Y=k|x)=\frac{exp({\omega }_k\cdot x)}{1+{\sum }_{k=1}^{K-1}exp({\omega }_k\cdot x)}$$

$$P(Y=K|x)=\frac{1}{1+{\sum }_{i=1}^{K-1}exp({\omega }_k\cdot x)}$$