逻辑回归阈值_逻辑回归算法

（一）逻辑回归原理

1、整体概括

逻辑回归假设数据服从伯努利分布（0-1分布），通过极大似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。

2、灵感过程（来自B站UP主：文小刀是也）

（1）欲做分类问题，从简单的二分类开始；

（2）标签是0和1；

（3）可使用简单的单位阶跃函数（如下图的红线）

（4）但阶跃函数不连续。但考虑到后期需要迭代优化，使用到导数等问题，故使用logistic function（上图为黑线，因为呈S形，因此也称为sigmoid function）代替，使其连续且可导。sigmoid函数如下所示：

其中，横坐标为z，纵坐标为y。定义域为

，值域为

，可对应概率值

。

（5）“逻辑回归的来源”

• “逻辑”指的是logistic function；
• “回归”来源于线性回归的
  ，使用线性回归去拟合逼近一个“界”，使得按照这个界进行数据分类后得到的cost最小。以概率0.5为分界线，将数据分为正例和反例。使得
  对应于“正例（趋近于概率为1）”，
  对应于“反例（趋近于概率为0）”。因此使用回归的思想去解决分类问题；
• 引出来的核心问题：求解
  。

（二）过程

1、基本原理

（1）找一个合适的预测函数，用来预测输入数据的判断结果；

（2）构造一个cost函数（损失函数），该函数表示预测的输出与训练数据类y的偏差；

（3）运用梯度下降的方法，找到偏差最小值；

（4）设置阈值，若y的值大于这个阈值的是一类，小于这个阈值的是一类。

2、具体求解过程

（1）构造预测函数

（2）构造损失函数

• 函数
  (图中表示为
  ）的导数求解如图

可以看做是属于1-0分布的伯努利分布，则可以根据这个建立似然函数；

• 对于离散值的似然函数。对离散总体而言，设有观测样本
  ，写出该观测值出现的概率，不依赖于一个或某些参数
  ，将概率看成
  的函数，
  似然函数（观测值出现的概率）。

• 建立似然函数。

表示的是标签值。

• 对数似然函数。

该对数似然函数就称为：cost损失函数

。

（3）求解最优的决策边界，即求最优的线。

现在的目的是去求解w（因为x是固定的），则需要对w进行求导：

将对w的求导，进一步转化，得到如下公式：

（4）使用梯度下降的方法迭代获取最优的W。

• 初始化W;
• 更新W：
  ；

• 迭代到一定次数或达到一定的阈值

（5）用联结符号来展示LR。

（三）优缺点

1、优点

（1）形式简单，模型的可解释性非常好；

（2）训练速度快，计算量仅仅和特征的数目有关；

（3）资源占用小，尤其是内存，因为值需要存储各个维度的特征值；

（4）方便输出结果调整，因为输出的是概率分数，可以阈值划分。

2、缺点

（1）只能做二分类；

（2）不适合用于特征空间很大的情况；

（3）很难处理不平衡数据问题；

（4）处理非线性数据较为麻烦；

（5）本身无法筛选特征；

（6）准确率并不高，因为形势简单，很难去拟合数据的真实分布。

（四）应用场景

（1）用于分类场景， 尤其是因变量是二分类（0/1，True/False，Yes/No）；

（2）不要求自变量和因变量是线性关系。