《机器学习实战》第五章 Logistic回归

• 优点：计算代价不高，易于理解和实现。
• 缺点：容易欠拟合，分类精度可能不高。
• 适用数据类型：数值型和标称型数据。

---

主要思想： 根据现有数据对分类边界建立回归公式，以此进行分类。
一般过程：
(1)收集数据：采用任意方法收集数据。
(2)准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。
(3)分析数据：采用任意方法对数据进行分析。
(4)训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5)测试算法：一旦训练步驟完成，分类将会很快。
(6)使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别.，在这之后，我们就可以夺输出的类别上做一些其他分析工作。

---

基于logisitc回归和sigmoid函数的分类

为了实现logistic回归分类器，我们可以在每个特征上都乘以一个回归系数（即下节的最佳回归系数的确定），然后把所有的结果值相加，将这个总和代人sigmoid函数中，进而得到一个范围在0〜1之间的数值。任何大于0.5的数据被分为1类，小于0.5即被归为0类。所以，logistic回归也可以被看成是一种概率估计。

最佳回归系数的确定

sigmoid函数的输入为z，表示将这两个数值向量对应元素相乘然后全部加起来。

其中，x向量是分类器的输入数据，向量w就是我们要找到的最佳参数( 回归系数)。

最优化方法1：梯度上升法

基本思想： 要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。
梯度算子总是指向函数值增长最快的方向，走步长 .
梯度算法的迭代公式如下：

该公式将一直被迭代执行，直至达到某个停止条件为止.

梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

训练算法：使用梯度上升找到最佳参数
伪代码：
每个回归系数初始化为1
重复R次：
计算整个数据集的梯度
使用alpha × gradient 更新回归系数的向量
返回回归系数

代码实现：
logRegres.py

from numpy import *

def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('E:/电子书/机器学习实战代码/机器学习实战代码/Ch05/testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split() #每行前2个值为两个特征x1,x2，第三个值是数据对应的类别标签
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) #x0 = 1,两个特征x1,x2
        labelMat.append(int(lineArr[2])) #数据对应的类别标签
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

#梯度上升
#参数一：一个2维numpy数组，列分别代表每个不同的特征，每行则代表每个训练样本。
#参数二：类别标签。（这里是一个行向量，需要做转置）
def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #转化为NumPy矩阵 
    labelMat = mat(classLabels).transpose() #转化为NumPy矩阵 
    m,n = shape(dataMatrix)
    alpha = 0.001 #步长
    maxCycles = 500 #迭代次数
    weights = ones((n,1))
    for k in range(maxCycles):              #重矩阵运算
        h = sigmoid(dataMatrix*weights)     #矩阵相乘，得到一个列向量
        error = (labelMat - h)              #矢量相减
        weights = weights + alpha * dataMatrix.transpose()* error
    return weights

main.py

import logRegres

dataArr, labelMat = logRegres.loadDataSet()
print(logRegres.gradAscent(dataArr, labelMat)) #打印回归系数

output:

[[ 4.12414349]
 [ 0.48007329]
 [-0.6168482 ]]

训练算法：随机梯度上升

• 梯度上升算法在每次更新回归系数时都需要遍历整个数据集，复杂度较高。一种改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法。
• 由于可以在新样本到来时对分类器进行增量式更新，因而随机梯度上升算法是一个在线学习算法。与“在线学习”相对应，一次处理所有数据被称作是“批处理”。

伪代码：
所有回归系数初始化为1
对数据集中的每个样本
计算该样本的梯度
使用alpha × gradient更新回归系数值
返回回归系数值

实现代码：

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)   #initialize to all ones
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights

与随机梯度上升的区别：
1、随机梯度上升中 h 和 error 均为向量，此处为数值。
2、没有矩阵转化过程，全部变量的数据类型均为numpy数组。

改进的随机梯度上升法：
由于存在一些不能正确分类的样本点（数据集并非线性可分)，在每次迭代时会引发系数的剧烈改变。我们期望算法能避免来回波动，从而收敛到某个值。另外，收敛速度也需要加快。因此要改进随机梯度上升法。
改进一： alpha每次迭代时调整。目的是为了缓解数据波动或者高频波动。

• 由于常数项的存在，alpha会随着迭代次数不断减小，但永远不会减小到0。目的是为了保证在多次迭代后新数据仍然有一定影响。若处理的问题是动态变化的，可以加大常数项，来确保新的值获得更大的回归系数
• alpha 每次减少 , 其中 j 是迭代次数， i 是样本的下标。 当 时，alpha 就不是严格下降。

改进二： 随机选取样本来更新回归系数。

• 每次随机从列表中选出一个值，然后从列表中删掉该值（再进行下一次迭代)。
• 可减少周期性波动。

改进三： 增加了一个迭代次数作为第三个参数，默认150次。

#改进的随机梯度上升
def stocGradAscent1(dataMatrix, classLabels, numIter=150): #改进3
    m,n = shape(dataMatrix)
    weights = ones(n)   #initialize to all ones
    for j in range(numIter):
        dataIndex = list(range(m))  #原书为： dataIndex = range(m)
        for i in range(m):
            #改进一
            alpha = 4/(1.0+j+i)+0.0001    #alpha每次迭代时调整
            #改进二
            randIndex = int(random.uniform(0,len(dataIndex)))#随机选取更新
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

main.py

import logRegres

dataArr, labelMat = logRegres.loadDataSet()
print(logRegres.gradAscent(dataArr, labelMat)) #打印回归系数

#打印随机梯度上升法拟合的回归系数
print(logRegres.stocGradAscent0(array(dataArr), labelMat))

#打印改进的随机梯度上升法拟合的回归系数
print(logRegres.stocGradAscent1(array(dataArr), labelMat))

outputs:

[[ 4.12414349]
 [ 0.48007329]
 [-0.6168482 ]]
[ 1.01702007  0.85914348 -0.36579921]
[15.23483369  1.13306178 -2.12471834]