数学原理-逻辑回归通俗易懂版(二分类与多分类)

思维导图：https://www.processon.com/view/link/5c6e214fe4b03334b523f836

Logistic回归为概率型非线性回归模型，是研究二分类观察结果与一些影响因素之间关系的一种多

变量分析方法。经典的二分类算法，也可转换为多分类：

机器学习算法选择:优先选用逻辑回归，性能比较差再使用深度学习算法。

逻辑回归决策边界:可以为非线性

1.算法原理：

使用的函数模型：sigmoid

将线性回归的输出作为逻辑回归的输入Z，输入sigmoid函数 **：

线性回归详解：https://blog.csdn.net/lisi1129/article/details/68925799

面试三问：（关于线性回归原理的三个问题【逻辑回归同】）

1.为什么要引入似然函数？

    因为各个条件独立，又处于同一分布下，在样本数足够大的情况下，损失大小符合正态分布，预测函数输出等于真实值的几率，符合正态分布函数。将所有输入值成为真实值的概率相乘，得到最大似然函数。

2.为什么要用log对数？

相乘变相加，极大化简运算

3.为什么对数并化简后，要让右边式子越小越好？

左边函数的值一定为正数，忽略。右边的值一定为负数，因此化简为让一下公式最小。（最小二乘法）

继续逻辑回归：

2.二项逻辑回归模型

       逻辑回归进行分类时，不仅给出分类类别，而且还给出了预测概率，在二分类问题中，若（2）式y>0.5则被归为1类，小于0.5被归为0类。二项逻辑回归的条件概率为：

则二分类时，y=1，为P（Y=1）式，Y=0为下式。

h（x）式是分类为1的概率，h（x）是将线性回归的输出 输入到sigmoid函数后，输出的概率值

完成后导入对数似然函数（同线性回归）

 

该表达式越大，成为1的可能性就越大，引入负号转换为梯度下降问题

逻辑回归将线性回归的连续型数据变成了二分类的离散型数据，预测值从连续变为离散。

对西塔（那个0中间加个杠的符号）求偏导，有几个西塔就求几次偏导。我们用j代替表示是第一个西塔

为什么要求偏导？

原函数=输入的值是线性预测的值，输出的是y的概率值

导数越大，y=1和y=0的可能性分开的大，分类越准确

其中 最后x上标为j，下标为i，i：表示这是第多少个样本，j：第多少个特征

更新的哪个西塔j，就对应的哪个特征j

a为学习率，学习率后面为一个方向。方向乘以步长，等于这个参数更新的结果

1/m表示要综合考虑m个样本

（面试一刀切）逻辑回归的多分类：

https://blog.csdn.net/szu_hadooper/article/details/78619001