多分类逻辑回归与softmax回归

二分类logistic回归及其优化算法

设$y$是0-1型变量，$x_1$，$x_2$，$\dots$，$x_p$是与$y$相关的确定性变量，$n$组观测数据为($x_{i1},x_{i2},\dots ,x_{ip};y_i$)，其中，$y_i$的取值是0或者1的随机变量，则$y_i$的条件概率为：
$$\begin{gathered} p(y=1|X)=\frac{exp(\beta X)}{1+exp(\beta X)} \\ p(y=0|X)=\frac{1}{1+exp(\beta X)} \end{gathered}$$
即
$$\ln \frac{p(y=1|X)}{1-p(y=1|X)}=\beta X$$
$y_i$服从均值为${\pi }_i=\frac{exp(\beta X)}{1+exp(\beta X)}$的0-1分布，概率函数为：
$$\begin{gathered} p(y_i=1)={\pi }_i \\ p(y_i=0)=1-{\pi }_i \end{gathered}$$
所以，$y_i$的概率函数可以写成：
$$p(y_i)={\pi }_i^{y_i}(1-{\pi }_i{)}^{1-y_i}$$
于是，$y_1,y_2,\dots ,y_n$的似然函数为：
$$L=\prod _{i=1}^{n}p(y_i)=\prod _{i=1}^n{\pi }_i^{y_i}(1-{\pi }_i{)}^{1-y_i}$$
似然函数取对数之后，化简可得到：
$$\ln L=\sum _{i=1}^n\{y_i({\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip})-\ln [1+\exp ({\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip})]\}$$
使上式达到极大的${\beta }_i$的估计值$\widehat{{\beta }_i}$就是所求的解，可以利用梯度下降法或者拟牛顿法求解上诉优化问题，建议使用拟牛顿法，作者实践过，梯度下降法需要迭代的次数远大于拟牛顿法。

$\ln L$的梯度为：
$${\mathbf{X}}^{\mathbf{T}}(\mathbf{y}-\hat{\mathbf{\beta }})$$
然后利用梯度下降或者拟牛顿法求解即可。

多分类logistic回归

多分类logistic回归可以看作多个独立的二元logistic回归的集合。将第k个类别看作主类别。有：
$$\begin{gathered} \ln \frac{p(y=1|X)}{p(y=k|X)}={\beta }_{1}X \\ \ln \frac{p(y=2|X)}{p(y=k|X)}={\beta }_{2}X \\ \dots \\ \ln \frac{p(y=k-1|X)}{p(y=k|X)}={\beta }_{k-1}X \end{gathered}$$
即
$$\begin{gathered} p(y=1|X)=p(y=k)\exp ({\beta }_{1}X) \\ p(y=2|X)=p(y=k)\exp ({\beta }_{2}X) \\ \dots \\ p(y=k-1|X)=p(y=k)\exp ({\beta }_{k-1}X) \end{gathered}$$
因为k个概率的和必须为1，所以：
$$p(y=k|X)=1-\sum _{k=1}^{K}p(y=k|X)\exp ({\beta }_{k}X)$$
即
$$p(y=k|X)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp {\beta }_{k}X}$$
上式就是多分类logistic回归的概率函数，接下来求其似然函数然后再用梯度下降或者拟牛顿法求解，与二元logistic的过程类似。

softmax回归

softmax回归，可以将其看成扩展的二元logistic回归。
即
$$p(y=c)=\frac{\exp ({\beta }_{c}X)}{{\sum }_{k=1}^K\exp ({\beta }_{k}X)}$$
似然函数与求解最优化问题的方法也类似。

R软件求解

R中stas包中的glm函数可以求解二元或者多分类logistic回归，MASS包中的loglm1函数可以求解softmax回归。