逻辑回归

1.背景介绍

考虑二分类任务，其输出标记，而线性回归模型产生的预测值是实值，于是，我们需将实值转换为0/1值，最理想的是“单位跃迁函数”(unit-step function)

即预测值z大于0就判断为正例，小于零则判为反例，预测值为临界值零则任意判断。

单位跃迁函数不连续，我们希望找到能在一定程度上近似单位跃迁函数的“替代函数”，并希望它单调可微，对数几率函数(logistic function)正是这样一个常用的替代函数

[站外图片上传中...(image-c17410-1564904822433)]

对数函数是一个sigmoid函数，它将z值转化成一个接近0或者1的y值，并且输出的值z=0附近变化很陡


若将y视为样本x作为正例的可能性，则1-y是其反例可能性，两者的比值，称为几率，反映了x作为正例的可能性，对几率取对数得到“对数几率”,

(1.1)式实际上是用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”(logistic regression)，特别注意的是，虽然它的名字是回归，但实际上是一种分类学习方法。这种学习方法有很多优点，例如它是直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题；它不仅预测出“类别”，而且可得近似概率预测，这对许多需要利用概率辅助决策的任务很有用。此外，对数几率回归求解的目标函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法可直接用于求解。

2.二项逻辑回归模型

二项逻辑回归是如下条件概率分布

这时，线性函数的值越接近正无穷，概率值就越接近1,；线性函数的值就越接近负无穷，概率值就越接近0，这样的模型就是逻辑回归模型。

3.模型参数估计

逻辑回归模型学习时，对于给定的训练数据集，其中，可以应用极大似然估计法估计模型参数，从而得到逻辑回归模型
设：

似然函数为

对数似然函数为：

对求极大值，得到的估计值
这样问题就变成了以对数似然函数为目标函数的最优化问题，逻辑回归学习中通常采用的方法是梯度下降法及拟牛顿法

假设的极大似然估计值是，那么学习到的逻辑回归模型为