逻辑回归

链接:
1. 线性回归总结
2. 正则化
3. 逻辑回归
4. Boosting
5. Adaboost算法

---

线性回归是通过拟合来达到目的，而逻辑回归呢侧重的是探寻概率，它不去寻找拟合的超平面，而是去寻找某个数据的类别归属问题。

一. 预测函数

Sigmoid函数

怎么去预测？我们知道Sigmoid函数是如上这样的，它的表现是：将数据归纳在0-1之间，那么我们能不能通过去计算出的结果去拟合这样一个概率，使之成为一种分类的依据？答案是肯定的。凡事的概率都在0和1之间，拟合了概率，就是拟合了判定条件。

Paste_Image.png

二. 具体做法

我们知道线性回归是这样子的：

将Sigmoid函数加载到这个结果上，不就是将结果0-1概率化了么：

逻辑回归表达式

所以是这样子的：

回归对比

三. 损失函数

这样一来针对已有数据那就是0/1问题，要么概率为1的数据，要么概率为0的数据：

样本评判

对于我们来说概率可以简写合并成：

取其似然函数：

我们要做的是在最大似然估计就是求使 L(θ )取最大值时的θ

对数函数

这里可以自己做主，我选用下面作为损失函数，要是最大似然估计最大，就要使J(θ)函数最小，通过不断的优化θ使得J函数最小，进而L函数概率最大，完成任务。

损失函数

四. 求解过程

1. 梯度下降法：###

迭代函数

具体求解

2. 矩阵法：###

求解过程

最终公式

通过依次求解A，E, θ得到最终解。（A为线性回归的θ*X）

参考：
逻辑回归
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
机器学习—逻辑回归理论简介