Python数据挖掘与机器学习实战——回归分析——逻辑回归

逻辑回归：

逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，最大的区别就在于它们的因变量（y）不同，如果是连续的，就是多重线性回归；如果是二项分布（0或1、是或否等），就是逻辑回归。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

• 优点：速度快、适合二分类问题、简单易于理解、可以直接看到各个特征的权重、能更容易的更新模型吸收新的数据
• 缺点：对数据和场景的适应能力有局限性，不如决策树算法适应性强。

逻辑回归的用途主要有以下3个方面：

• 寻找危险因素：寻找某一疾病的危险因素等
• 预测：预测不同自变量情况下，发生某种疾病或某种情况的概率有多大
• 判别：根据模型，判断某人属于某种疾病或属于某种情况的概率有多大

逻辑回归的常规步骤

• 寻找h函数（预测函数）
• 构造J函数（损失函数）
• 想办法使得J函数最小，并求的回归参数