机器学习之Logistic回归

1.logistic回归函数

逻辑回归（Logistic Regression）是机器学习中最常见的一种用于二分类的算法模型，由于其数学原理简单易懂，作用高效，其实际应用非常广泛。虽然带回归二字，实则是分类模型

先说一个概念，事件的几率（odds），是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率是p/(1-p)。取该事件发生几率的对数，定义为该事件的对数几率（log odds）或logit函数：

​    
 

推导后可得：

 

公式1就是logistic函数。Φ(x)是一个sigmoid函数，类似于阶跃函数的S型生长曲线 

上图给出了sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，sigmoid函数值为0.5。随着x的增大，对应的sigmoid函数的值将逼近于1；而随着x的减小，sigmoid函数的值将逼近于0。而第二幅图中我们能看到在横坐标的刻度足够大是，在x=0处sigmoid函数看起来很像阶跃函数。

       那么对于公式1，我们可以这样解释：为了实现logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和带入sigmoid函数中。进而得到一个范围在0-1之间的数值。最后设定一个阈值，在大于阈值时判定为1，否则判定为0。以上便是逻辑斯谛回归算法是思想，公式就是分类器的函数形式。
 

2.最佳回归系数的确定

Sigmoid函数的输入记为z，由下面公式得出: 

z=w0x0+w1x1+w2x2+...+wnxn
z=w0x0+w1x1+w2x2+...+wnxn

如果采用向量的写法，上述公式可以写成 z=wTx

 2.1 梯度上升法

梯度上升法基于的思想是:要找到某函数的最大值，最好的办法是沿着该函数的梯度方向探寻,梯度上升算法的迭代公式为: 

w:=w+α∇wf(w)w:=w+α∇wf(w)

这里 α为步长

2.2 使用梯度上升找到最佳参数算法

"""函数说明：数据加载和处理"""

def loadDataSet():
    dataMat = []                                                        #创建数据列表
    labelMat = []                                                        #创建标签列表
    fr = open('testSet.txt')                                            #打开文件
    for line in fr.readlines():                                            #逐行读取
        lineArr = line.strip().split()                                    #去回车，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])        #添加数据
        labelMat.append(int(lineArr[2]))                                #添加标签
    fr.close()                                                            #关闭文件
    return dataMat, labelMat                                            #返回



"""函数说明:sigmoid函数"""


def sigmoid(inX):
    return 1.0/(1+exp(-inX)) 


"""函数说明：梯度上升算法"""


def gradAscent(dataMatIn,classLabels):

    dataMatrix = mat(dataMatIn)#将数据转换为矩阵
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)     #返回矩阵的行列
    alpha = 0.001
    maxCycles = 500     #最大迭代次数
    weights = ones((n,1))       #ones函数用来构造一个全一矩阵
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights)
        error = (labelMat - h)
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

 运行结果如上图，得到了回归系数

2.3 画出决策边界

"""
调用matplotlib画图的流程是：
调用figure()得到fig对象 -> 调用fig.add_subplot(111)得到axis对象 -> 调用plt.plot绘制 -> plt.show()显示出figure
"""
def plotBestFit(weights):
    import matplotlib.pyplot as plt
    dataMat,labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):   #将sigmoid对应的0/1的值分开
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])#这里存放的是函数值为1的
        else:
            xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])#这里存放的是函数值为0的
    fig = plt.figure()      #第一步 定义一个新的画布
    ax = fig.add_subplot(111)#第二步 在画布中添加子图 这里参数111，也可以表示成1,1,1,表示添加的子图是1行1列在位置1
    #如果参数是22X，则表示2行2列，这里X可以有1，2，3，4个取值，因为2行2列有4个位置
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')   
#前两个参数表示对应点的坐标，s表示点的大小，c表示点的颜色，marker表示点的形状
#这个函数的作用是绘制散点图
    ax.scatter(xcord2,ycord2,s=30,c='green')
    x = arange(-3.0,3.0,0.1)    #制作步长为0.1的数组
    y = (-weights[0]-weights[1]*x)/weights[2]   #w0+w1*x1+w2*x2=0 =>x2=(-w0-w1*x1)/w2
    ax.plot(x,y)    #将x,y表示的点画成一条线
    plt.xlabel('X1');plt.ylabel('X2')
    plt.show()

运行如下

2.4 随机梯度上升算法

梯度上升算法在每次更新回归系数时都需要便利整个数据集，一种改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法  

def stockAscent0(dataMatrix,classLabels):
    """
    随机梯度上升算法
    """
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights+alpha*error*(dataMatrix[i].transpose())
    return weights

2.5 改进后的随机梯度算法

def stocGradAscent1(dataMatrix,classLabels,numIter = 150):
    """
    随机梯度上升算法的改进
    """
    m,n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):    
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.01
            randIndex = int(random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error *dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

3.logistic评价

优点：

1.原理简单，模型清晰，操作高效，背后的概率的推导过程经得住推敲，在研究中，通常以 Logistic 回归模型作为基准，再尝试使用更复杂的算法，可以在大数据场景中使用。
2.使用online learning的方式更新轻松更新参数，不需要重新训练整个模型
3.基于概率建模，输出值落在0到1之间，并且有概率意义
4.求出来的参数代表每个特征对输出的影响，可解释性强
5.解决过拟合的方法很多，如L1、L2正则化，L2正则化就可以解决多重共线性问题

缺点：

1.对数据依赖性强，很多时候需要做特征工程，且主要用来解决线性可分问题
2.因为它本质上是一个线性的分类器，所以处理不好特征之间相关的情况，对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符合预期，符号被扭转，正好变负号。
3.logit变换过程是非线性的，在两端随着变化率微乎其微，而中间的变化很大，很敏感。 导致很多区间的变量变化对目标概率的影响没有区分度，很难确定阀值。
4.当特征空间很大时，性能不好
5.容易欠拟合，精度不高
 

4.总结

logistics回归的目的是寻找一个非线性函数sigmoid的最佳拟合参数，求解过程可以由最优化算法来完成，在最优化算法中，最常用的就是梯度上升算法，梯度上升算法又可以化简为随机梯度上升算法

随机梯度算法与梯度上升算法效果相当，但是占用更少计算机资源，此外，随机梯度上升是一个在线算法，它可以在新数据到来时就完成参数更新，而不需要重新读取整个数据集来进行批处理运算。