逻辑回归模型

1 概述

        逻辑斯蒂回归，虽然这个算法从名字上来看，是回归算法，但其实际上是一个分类算法。逻辑斯蒂回归模型最早应用于种群生态学，但由于其优秀的性质，对于我们的分类问题，即已知许多特征x，希望通过这些特征预测出label，就是类别的标签，对于二分类问题，标签只有两个，这里记做0和1（有的记做+1和-1）。对于x，我们希望用一个模型，最终综合起所有的特征x，然后得到一个待判决的数值，要想判断具体属于哪一类，需要设定一个阈值，大于这个阈值给一个类别，小于则给另一个类别，就像最基本的高维空间用超平面分割两类一样。

2 逻辑斯蒂回归模型

2.1 二项逻辑斯蒂回归模型

        假设输入空间（特征空间）是X⊆,⊆,输出空间是Y＝{+1,-1},设，则二项逻辑斯蒂回归模型如下：

                                            

                                            

        对于给定的输入实例x，按照以上两个式子，可以求得P(Y＝1|x)和P(Y＝0|x)。 逻辑斯谛回归比较两个条件概率值的大小，将实例x分到概率值较大的那一类。

        此时，线性函数的值越接近正无穷，概率值就越接近1；线性函数的值越接近负无穷，概率值就越接近0（如图6.1所示）。

        一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是 ，该事件的对数几率或logit函数是。

        对于逻辑斯蒂回归而言，。这就是说，在逻辑斯谛回归模型中，输出Y＝1的对数几率是由输入x的线性函数表示的模型。 

2.2 多项逻辑斯蒂回归模型

        上面介绍的逻辑斯谛回归模型是二项分类模型，用于二类分类。可以将其推广为多项逻辑斯谛回归模型，用于多类分类。假设离散型随机变量Y的取值集合是{1,2,…,K}，那么多项逻辑斯谛回归模型是

                                    ,k=1,2,...K-1

                                    

3 模型参数估计

        设：                      

则似然函数为：                

其对数似然函数为：

                                            

                                            

        对求极大值，得到的估计值，记作。这样，问题就变成了以对数似然函数为目标函数的最优化问题。那么，学到的逻辑斯蒂回归模型为：

                                            

                                            

4 小结

        （1）LR回归是在线性回归模型的基础上，使用sigmoid。sigmoid函数，将线性模型 wTx 的结果压缩到[0,1]之间，而且在x=0处，函数值为0.5，刚好可以作为阈值；0~1正好也是概率的范围，使其拥有概率意义。其本质仍然是一个线性模型，实现相对简单。

        （2）它是直接对分类的可能性进行建模的，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题。

        （3）因为它是针对于分类的可能性进行建模的，所以它不仅能预测出类别，还可以得到属于该类别的概率。

        （4）对率函数是任意阶可导的凸函数，有很多的数学性质，现有的许多数学优化算法都可直接用于求取最优解。

参考资料：

（1）《统计学习方法》 李航

（2）https://blog.csdn.net/edogawachia/article/details/79350317

（3）http://www.hankcs.com/ml/the-logistic-regression-and-the-maximum-entropy-model.html