逻辑回归（Logistic Regression）

一、逻辑回归简介：

逻辑回归（LR）是一个广义的线性回归分析模型。常用于数据挖掘、疾病自动诊断及经济预测等领域。
是机器学习的入门级算法。

优点：

计算代价相对较低；
思路清晰且易于理解。

缺点：

线性分类器，容易欠拟合（无法有效处理非线性问题）；
分类精度可能不高。

二、线性函数概念

逻辑回归是一个名为回归，实为分类的经典算法。
模型输入：特征向量；
模型输出：0~1的概率值，表示其为正例的概率。
其算法数学表示为(sigmod函数）：

算法基本流程如下图所示：
输入特征向量x，通过线性变换（将），然后通过Sigmoid函数获得对应的概率值。

逻辑回归基本流程

线性变换拆分过程为：

sigmoid函数计算为：

逻辑输出的结果图像：
sigmoid函数特点：
1、定义域：(−∞,+∞)
2、值域：（-1,1）
3、函数在定义域内为连续和光滑的函数，且处处可导。

逻辑回归输出图像

（字节跳动二面）面试题1：逻辑回归为什么选择Sigmoid函数，而不选择单位阶跃函数或其他函数？（单位阶跃函数是小于0的部分为0，大于等于0的部分为1，类似于分段函数）

核心的原因：sigmoid函数可微可导，单位阶跃在0处不可导（后面计算会很复杂）。其他函数都是可以选的，写什么函数都是一样的，目的都是用来分类的，只是sigmoid函数在后面的推导过程会容易一些。

三、逻辑回归模型

逻辑回归模型的目的就是求每个特征的回归系数，即。最后模型也是训练这个参数。

性质：

线性分类器，若无特殊处理，无法解决非线性问题。

建模过程：

通过训练数据集，计算出“最适合”的系数向量。即。逻辑回归很容易欠拟合。
（欠拟合问题之所以出现是因为特征维度过小，以至于假设函数不能足够的学习特征和标签之间的非线性关系。）
“最合适”，可理解为错误概率最低的情况。

应用：

分类效果的baseline模型

四、逻辑回归原理

4.1 极大似然估计原理

如下图所示，从甲、乙两个箱子中，二选一随机抽一个球，是蓝色，他可能是从甲、乙那个箱子中抽出来的呢？

可行性最大的是乙箱子，因为选择为乙箱的前提下，蓝球出现的概率是

极大似然估计实例

所以，极大似然估计是Maximum likelihood：利用已知的样本结果，反推最有可能导致这样结果的参数值。

似然函数原理: 利用实验结果 {} ，得到某个参数，使得样本出现概率最大。

而极大似然估计，就是求解参数值,例如，

例题：设样本服从正态分布，用似然法估计参数。
解：第一步，建立（对数）似然函数。

由于是累乘，所以为了处理简单，对其进行对数变换。

对数函数建立起来后，做极大值收敛。
第二步，求解似然函数最大的参数，即为结果。
（1）求偏导

(2)获得参数结果

基础推导过程如下：

推导过程

4.2 极大似然建立损失函数

逻辑回归基本流程

基础的例子：

如下例所示，任意给定两个值，进行线性变换（），通过sigmoid函数输出y值，获得1类样本的概率。，

逻辑回归实例解释

给定一个输入，其输出标签的概率为：

(二分类问题中)则可以得出，给定输出类别为1和为0的概率分别是

更一般的表达式:给定,输出为标签的概率.(表示该样本属于真实标签的概率）

有了概率后，最大化每个样本属于真实标签的概率，逻辑回归采用了极大似然估计：

连乘不好算，则对数转换为求和。对数极大似然函数为：

反向更新，采用梯度上升法，最大化对数似然函数：

求解w参数：最大化似然函数；也可以加负号，变为最小化似然函数。

4.3 梯度的背景知识

什么是梯度？

梯度是一个方向向量，表示某一函数在某点处沿着该方向（梯度的方向）变化最快。
如下图所示，梯度表示上山最快的方向！

梯度：上山最快的方向

假设一座山的还把与坐标的关系为，且处处可导（如下等高线图所示）：
对于点而言，其变化率最快的方向是，这就是函数在点的梯度。

等高线图

梯度数学定义式

梯度求解实例

4.4 用梯度上升法最优化参数求解

逻辑回归的本质就是求解参数值w

参数更新流程

逻辑回归梯度上升求解

逻辑回归梯度上升求解

逻辑回归伪代码

4.5 最大熵模型

结果越趋于等概率，熵越大，如果各标签越不趋于等概率，则熵越小。

最大熵模型概念

如果概率相等，最大熵趋于，如果各类别概率不相等，则最大熵趋于0.

最大熵值域

最大熵模型实例

最大熵模型定义

4.6 模型代码

调包实现逻辑回归函数

4.7 逻辑回归模型应用

1）逻辑回归拟合的本质

线性回归拟合的本质，是用一条线，尽可能的把所有点串起来。

线性回归本质

逻辑回归的内容是拟合二分类两个类别样本的决策超平面。

逻辑回归本质

4.8 逻辑回归用于多分类

从二分类问题过度到多分类问题(one vs rest)，思路步骤如下：

1.将类型class1看作正样本，其他类型全部看作负样本。然后，我们就可以得到样本标记类型为该类型class1的概率p1。
2.然后再将另外类型class2看作正样本，其他类型全部看作负样本，同理得到p2。
3.以此循环，我们可以得到该待预测样本的标记类型分别为类型class i时的概率pi。最后，我们取pi中最大的那个概率对应的样本标记类型作为我们的待预测样本类型。

逻辑回归多分类

4.9 过拟合及正则化

过拟合（over-fitting），其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。
欠拟合（underfitting），可能是训练样本被提取的特征比较少，导致训练出来的模型不能很好地匹配，表现得很差，甚至样本本身都无法高效的识别。

如下图所示，过拟合是模型学习过于优越，能在训练集上很好的拟合数据，但在验证集合或测试集上效果很差。欠拟合是模型在训练集上效果也很差，不能有效提取数据集的特征关系。

过拟合和欠拟合

过拟合和欠拟合

解决过拟合的常用方法

正规化方法

L2范数加是求偏导方便。

正则化项的使用方法

正则化项特点

（字节跳动二面）为什么正则化可以防止过拟合呢？

简单地理解就是，通过加入一个正则项，在最小化新的代价函数的时候，正则项使得预测值与真实值之间的误差并不会达到最小，也就是说它是不会去完美拟合的，这样也就防止了过拟合，提高了机器学习模型的泛化能力。
一种最常用的正则化技术是权重衰减，通过加入的正则项对参数数值进行衰减，得到更小的权值。对于一些本身权重就很小的参数来说，其本身对结果的影响微乎其微，尤其是λ较大的时候，正则项的加入使得其几乎衰减到零，相当于去掉了这一项特征，类似于减少特征维度。当然了，式子中一项减少，正则化使得其他项的权值可能还会有所增加。而当 λ 较小时，我们会得到相对来说更小一些的代价函数值，而此时拟合的会更精细一些。