机器学习第八篇：详解逻辑斯蒂回归算法

01|基本概念：

在介绍逻辑回归模型以前，先介绍一下逻辑斯谛分布。

设X是连续型随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数F(x)和密度函数f(x)：

逻辑斯谛分布的分布函数F(x)的曲线如图所示，其图形是一条S形曲线，曲线在中心附近增长最快，在两端增长速度较慢。当x无穷大时，F(x)接近于1；当x无穷小时，F(x)接近于0。

(逻辑回归分布函数)

02|二项逻辑斯谛回归模型：

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯蒂分布？这里随机变量X取值为实数，随机变量Y取值为1或0。

二项逻辑斯谛回归模型是如下的条件概率分布：

这里x属于实数，Y属于{0,1}是输出，w和b是参数，w称为权值向量，b称为偏置，为w和x的内积。

对于给定的输入实例x，按照上述分布函数可以求得P(Y=1|x)和P(Y=0|x)。逻辑斯谛回归是比较两个条件概率值的大小，将实例x分到概率值大的那一类。

有时候为了方便，将权值向量和输入向量加以扩充，仍记作w,x，即

,。这时，逻辑斯蒂回归模型如下：

得到上面的回归模型了，上面的回归模型中有一个未知参数w，在利用上述的模型对数据进行预测之前需要先求取参数w的值，这里采用极大似然估计的方法求取参数w。

设

,

似然函数为：

对数似然函数为：

这样问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯蒂回归学习中通常采用的方法是梯度下降法以及拟牛顿法。

将利用极大似然估计得到的w值代入上述的模型中，即可用于测试数据集的预测。

03|多项逻辑斯蒂回归：

二项逻辑斯谛回归模型是二项分类模型，用于二分类问题中。可以将其推广到多项逻辑斯谛回归模型，用于多分类问题。假设离散型随机变量Y的可能取值集合是{1,2,...,K}，那么多项逻辑斯谛回归模型是：