Logistic回归

介绍

逻辑回归：Logistic Regression，Logit Regression，是一种分类算法，常用于处理二分类，用来表示某件事情发生的可能性。任务是尽可能地拟合决策边界。
应用：银行信用卡欺诈可能性（是欺诈消费、不是欺诈消费）、下雨的可能性（下雨、不下雨），购买一件商品的可能性（买、不买），广告被点击的可能性（点、不点）

线性回归与逻辑回归

线性回归：y=ax+b，在已知几组数据(x,y的历史数据情况下，如何预测给定一个新的自变量x时y的值呢？显然需要先计算出两个位置参数a,b的值，然后才可以进行预测。
但是在实际生活中，因变量yy的会受到很多的影响，两个之间的关系也非线性关系那么简单直接。可能是线性的、可能是多项式曲线型的、还有可能是多维空间的平面……
y=ax+b输出的是连续值，但因变量也有可能是离散值
线性回归的分类问题与逻辑回归分类：

.png

阶跃函数

如果某个函数可以用半开区间的指示函数的有限次线性组合来表示，那么这个函数就是阶跃函数。阶跃函数是有限段分段常数函数的组合。

[图片上传失败...(image-cb2e92-1618128584134)]

Sigmoid函数

然而逻辑回归是一个概率模型，我们需要的输出结果在(0,1)之间，所以需要一个“映射函数”：逻辑回归中常用的映射函数就是Sigmoid函数

但是，逻辑回归的目标是解决二分类问题，在得到了一个概率值之后还需要对这个概率值进行“分类”。当概率值大于0.5时把样本归为正类、当概率值小于0.5时把样本归为负类。

Logistic分布

累计分布函数：

概率密度函数：

其中μ表示位置参数，s表示形状参数。形状类似正态分布、但峰度更高、尾部更长。

二项Logistic回归模型

二项Logistic回归模型是一种由条件概率分布P(Y|X)表示的分类模型，以nn维随机变量XX为输入，Y∈{0,1}为输出：

其中w也是一个n维的权值向量，b为偏置。Logistic回归只需要比较这两个条件概率值的大小，选择概率较大的那一类即可。
但是，上述式子仍显累赘。若令，那么上面两式可以转化为:

几率(Odds)

统计学中，几率表示事件发生的概率p与事件不发生的概率1−p的比值。
在Logistic回归模型中，几率取对数后表示为：

也就是说，在Logistic回归模型中，输出Y=1的对数几率是输入xx的线性函数。

若线性函数趋近正无穷，概率值P(Y=1|x)就越接近1，
若线性函数趋近负无穷，概率值P(Y=1|x)就越接近0。逻辑回归的主要思想就是：先拟合决策边界、然后由映射函数建立边界与分类概率的联系。

何为最优？

极大似然估计

已知一些样本，需要寻找一组参数使得现有样本出现概率最大化。
因为逻辑回归假设之一是样本服从伯努利分布，若令：

则似然函数可表示为：

对数似然：

损失函数（Loss/Cost Function）

用于衡量预测值与实际值的偏离程度，损失函数的值越小表示分类器越精准。“最优参数”就是使得损失函数取最小值。

0-1损失函数：预测值与实际值不相等为1，相等为0.直接判断错分的个数。
平方损失函数：误差平方和，常用于线性回归。
对数损失函数：常用于模型输出时每一类概率的分类器，例如逻辑回归。
Hinge损失函数：分类正确损失为0，否则损失为，SVM。

对数损失函数也叫交叉熵损失函数。熵代表某个事件的不确定性，交叉熵代表两个概率分布(预测与真实)之间的差异性。通过最小化交叉熵损失函数就可以最大化逻辑回归分类器的精度。（补充：交叉熵损失的选取与最大熵模型有关）

表达式

其中表示第ii个真实值，是第i个预测值，。

损失函数解释一下：

当真实值时，;
当真实值时，；

.png

将代入上式：

对数似然与对数损失函数的关系：

求解参数方法

梯度下降法

通过损失函数Loss对参数w求一阶偏导来确定方向，并且确定步长α，来更新w：

直到|小于某个阈值或达到最大迭代次数停止。

牛顿法

在现有极小点估计值的附近对Loss做二阶泰勒展开，进而找到极小点的一个估计值，设为当前极小值估计值，那么有：

然后令，可以得到

训练模型：输入数据集为上式中只有θ这个向量是未知的。只要能够找到一个参数向量θ使得L最小，那么这个θ就是最优的参数向量。
使用模型：将得到的最优θ带入，然后根据一个阈值调整到0或1，就得到了样本的所属分类。