逻辑斯蒂回归1 -- 逻辑斯蒂回归模型

声明：

         1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。

         2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。

         3，如果有内容错误或不准确欢迎大家指正。

         4，如果能帮到你，那真是太好了。

逻辑斯蒂分布

         对于连续的随机变量X，X服从逻辑斯蒂分布是指：X具有下列分布函数和密度函数：

         分布函数：

                   （图1）

                   F(X)= p( X <= x ) = 1 / (1 + exp(-(x-u)/r))

         密度函数：

                  

                   f(x)= F`(x) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))²

         式中：u为位置参数，r >0为形状参数。

         其中分布函数属于逻辑斯蒂函数，其图形为一条S形曲线，该曲线以(u, 1/2)为中心对称，即满足：

                   F(-x + u ) - 1/2 = -F( x - u ) + 1/2

         PS：f(x) 的推导过程：

                   对F(X) = p( X<= x ) = 1 / (1 + exp(-(x-u)/r))

                   令a = 1 +exp(-(x-u)/r)，b = -(x-u)/r

                   ∴ dF/da = -(1/ (1 + exp(-(x-u)/r))²)

                      da/db = exp(-(x-u)/r)

                      db/dx = -(1/r)

                   ∴ f(x) =dF/dx = (dF/da) * (da/db) * (db/dx) = exp(-(x-u)/r) / r(1 + exp(-(x-u)/r))²

 

二项逻辑斯蒂回归模型

         二项逻辑斯蒂回归模型是一种分类模型，使用P(Y|X)表示，形式为参数化的逻辑斯蒂分布。

         这里，随机变量X取值为实数，随机变量Y取值为1或0.

         最终，我们规定二项逻辑斯蒂回归模型的条件概率分布为：

                   P(Y=1|X)= exp(w·x + b) / (1 + exp(w·x + b))

                   P(Y=0|X)= 1 / (1 + exp(w·x + b))

         这里X∈Rⁿ是输入，Y∈{0, 1} 是输出，w∈Rⁿ和b∈R是参数，其中w成为权值向量，b成为偏置。

         于是二项逻辑斯蒂回归模型就是对输入实例X，求P(Y=1|X) 和P(Y=0|X) ，然后比较其大小，最后将实例分为概率较大的那一类。

         有时，为了方便，我们将w和x加以扩充，虽仍记作w，x，但其意义分别为：

                   w= (w⁽¹⁾, w⁽²⁾, …, w⁽ⁿ⁾, b)，x = (x⁽¹⁾,x⁽²⁾, …, x⁽ⁿ⁾, 1)

         这时二项逻辑斯蒂回归模型如下：

                   P(Y=1|X)= exp(w·x) / (1 + exp(w·x))

                   P(Y=0|X)= 1 / (1 + exp(w·x))

 

         事件的几率(odds)

                  下面，我们再学习一个定义：事件的几率(odds)

                            事件的几率 = 事件发生的概率/事件不发生的概率

                  即：

                           odds= P / (1 - p)

                  在此基础上，odds的对数几率即其logit函数就是：

                            logit(p) = log(p / (1 - p))

         于是，二项逻辑斯蒂回归模型而言，X为Y=1的几率就是：

                   

         上式说明了什么呢？

         上式说明了：在逻辑斯蒂回归模型中，输出Y=1的对数几率是输入X的线性函数。

         换句话说即：输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

         即：

                   逻辑斯蒂回归模型就是输出Y=1(输出指定类别)的对数几率是由输入X的线性函数表示的模型。

         PS：

                   ∵ 逻辑斯蒂模型满足逻辑斯蒂分布。

                   ∴ 由图1可知：

                            对P(Y=1|X) =exp(w·x + b) / (1 + exp(w·x + b))

                            w·x的值越接近 +∞，P(Y=1|X) 越接近1

                            w·x的值越接近 -∞，P(Y=1|X) 越接近0

多项逻辑斯蒂回归

         对于多项逻辑斯蒂回归，其模型为：