《机器学习实战》之Logistic回归

本章内容

• Sigmoid函数和logistic回归分类器
• 最优化理论初步
• 梯度下降最优化算法
• 数据中的缺失项处理

我们介绍几个最优化算法，并利用它们训练出一个非线性函数用于分类。

回归：假设我们有一些数据点，我们用一条直线对这些点进行拟合，这个拟合过程就称作回归。

利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类

Logistic回归的一般过程

(1) 收集数据：采用任意方法收集数据。

(2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。

(3) 分析数据：采用任意方法对数据进行分析

(4) 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数

(5) 测试算法：一旦训练步骤完成，分类将会很快

(6) 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作

基于Logistic回归和Sigmoid函数的分类

Logistic回归

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高

适用数据类型：数值型和标称型数据

我们想要的函数是，能接受所有的输入然后预测出类别。Sigmoid函数具有跳跃性质

为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0-1之间的数值。

基于最优方法的最佳回归系数确定

Sigmoid函数的输入记为z，由下面公式得出：

如果采用向量的写法，上述公式可以写成  ，它表示将这两个数值向量对应元素相乘然后
全部加起来即得到z值。其中的向量x是分类器的输入数据，向量w也就是我们要找到的最佳参数
（系数），从而使得分类器尽可能地精确。为了寻找该最佳参数，需要用到最优化理论的一些知识。
下面首先介绍梯度上升的最优化方法，我们将学习到如何使用该方法求得数据集的最佳
参数。接下来，展示如何绘制梯度上升法产生的决策边界图，该图能将梯度上升法的分类效
果可视化地呈现出来。最后我们将学习随机梯度上升算法，以及如何对其进行修改以获得更
好的结果