机器学习——分类算法4：Logistic回归 梯度上升 思想 和 代码解释

思想（这个只有输出层的神经网络也有用到）：

在Logistic回归中，

1、首先介绍Sigmoid函数:

      

可以看到它的值域（0,1），通过sigma函数计算出最终结果，以0.5为分界线，最终结果大于0.5则属于正类(类别值为1)，反之属于负类(类别值为0)。

2、将Sigmoid函数g(z)作为阀门，令Z=W^T X,此时这里的大写符号都是向量，然后将Z代入到g(Z)里面。

其中X为输入的矩阵样本，W为回归系数,上面的小T说明经过转置。（转置不转置看维度，运算中转置是看计算是否符合矩阵运算，才转置的）

3、对于sigmoid函数的特性：

P( y=1) = g(Z)                   

P( y=0) =1-g(Z)

上述两式即为在已知样本X和回归系数W的情况下，样本X属性正类(y=1)和负类(y=0)的条件概率。

将两个公式合并成一个，即为：P(y) = g(Z) ^y * (1-g(Z))^(1-y)

大家可以试一下，如果y=1，P(y=1) = g(Z) ¹ * 1 = g(Z)  ;  则y=0，P(y=0)=1*(1-g(Z))^(1-0)=1-g(Z)

4、最大似然估计

既然概率出来了，那么最大似然估计也该出场了。假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积：

L= ∏（P(yi) ）=∏ ( g(Zi) ^yi * (1-g(Zi))^(1-yi) )，其中 ∏ 是相乘，那个  ∑ 是相加，记好哦

为了简化问题，我们对整个表达式求对数，(将指数问题对数化是处理数学问题常见的方法，可以相加了，相加比较简单)：

l=log(L)=ylog(g(Z))+(1-y)log(1-g(Z))

满足似然函数 l 的最大的W值即是我们需要求解的模型。(这里面的log实际上是In)

5、求梯度dW

首先将刚获得的公式拿出来：

        Z=W^T X

        g(Z)=1/(1+e^-Z)

         l=ylog(g(Z))+(1-y)log(1-g(Z))-----简化为---->l=ylog(g) + (1-y)log（1-g）

然后倒着求偏导(大家不会的看下高数，用链式法则求导)：

（1）对l求g(Z),将σl/σg记做dg：

            dg = y/g +[ (1-y)*(-1/1-g) ]  = y/g - (1-y)/(1-g)

（2）对l求导Z,那么根据链式法则，σl/σZ=σl/σg * σg/σZ = dg * g' 记做dZ：（其中g'=[1/(1+e^-Z)]'=g*(1-g),这个可以自己求下到，这里求导比较麻烦,不过下图可以看看）

            dZ =dg * g' = [   y/g - (1-y)/(1-g)  ] *[  g*(1-g)  ]=  y - g

（3）对l求导W,那么根据链式法则，σl/σW = σl/σg * σg/σZ * σZ/σW =dZ * Z'  记做dW:( 其中 Z'= [W^T X]' =X )

           dW = (y-g) * X      (后面代码中会用到这个公式，要知道怎么来的)

6、对回归系数进行梯度上升，获得最佳回归系数：

             W = W + α * dW      (最佳系数 =  原来的系数  +   学习率  *  梯度) （有限次循环，获得最佳系数）

  你在代码中会看到：

error = y - g = 真实类别 - 预测类别

W=W+α*error*X

7、学会灵活运用，如果将Sigmoid函数换为其他函数，步骤一样，先计算似然函数 l，在倒过来用链式法则求偏导dW

代码：

python3版本代码（对于小白，在每次测试时候，可以打断点到测试那里，更容易理解，对于print过多，自行删除）：

from numpy import *
import matplotlib.pyplot as plt

def loadDateSet():
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')        #加载文本，第一列为X，第二列为Y,第三列为分类
    for line in fr.readlines():     #一行一行读取文本
        lineArr = line.strip().split()      #strip() 方法用于移除字符串头尾指定的字符(默认为空格)，split()方法以空格进行分割切片
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])     #在（x,y）前面加个1.0,为啥要有1这个特征呢，其实他是直线的常量y=ax+b的b,不懂得到画图时就明白了
        labelMat.append(int(lineArr[2]))        #分类
    return dataMat, labelMat
#测试
dataArr, labelMat = loadDateSet()
print("dataArr:", dataArr)
print("labelMat:", labelMat)
#####################################################################################################################
#Sigmoid函数f(x)=1/(1+e的(-x)次方)
def sigmoid(inX):
    """
    :param inX: 输入的X
    :return: 返回Y
    """
    return 1.0/(1+exp(-inX))
#####################################################################################################################
#梯度上升
"""
基于最优化方法（梯度上升）对最佳回归系数确定
梯度上升算法：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻
对于回归系数：
Sigmoid函数的输入的inX记做z, 则z=w0*x0 + w1*x1 + w2*x2,他写成矩阵形式就是Z=W.T*X，至于是否转置看维度
最重要是是对梯度的理解。
"""
def gradAscent(dataMatIn, classLabels):
    """
    :param dataMatIn: 数据集
    :param classLabels: 分类标签
    :return:每个特征的最佳回归系数矩阵，特征是指输入矩阵的列
    """
    dataMatrix = mat(dataMatIn)     #mat()函数可以将数组转化为矩阵
    labelMat = mat(classLabels).T       #.T矩阵的转置，列向量现在转换为行向量
    m, n = shape(dataMatrix)        #数据集的行和列数
    alpha = 0.001       #学习率α = 步长
    maxCycles = 500     #迭代次数 = 循环次数
    weights = ones((n, 1))      #最佳回归系数 = 初始化为1的列向量
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)       #预测的类别 = 先计算Z = W*X，这个维度不用转置在计算sigmoid(Z)
        error = labelMat - h        #误差 = 真是类别和预测类别的差值
        weights = weights + alpha * dataMatrix.T * error    #梯度上升公式：w = w + 学习率 * 梯度，而梯度 = 误差 * 输入值矩阵，至于转置是看计算是否符合矩阵运算，才转置的
    return weights
#测试
weights = gradAscent(dataArr, labelMat)
print("对于3个特征的最佳回归系数:", weights)
##################################################################################################################
#将分类给画出来，画出最佳的拟合直线
def plotBestFit(weights):
    """
    :param weights: 最佳回归系数数组
    :return:
    """
    dataMat, labelMat = loadDateSet()       #加载数据集，返回数据集合分类
    dataArr = array(dataMat)        #将数据集数组化
    dataShape = shape(dataArr)      #data的形状
    print("data的形状：", dataShape)
    n = dataShape[0]        #形状的第一个是行数（即数据集的个数），第二个是列数（即数据集的特征）
    xcord1 = []     #分类为1的点
    ycord1 = []
    xcord0 = []     #分类为0的点
    ycord0 = []
    for i in range(n):
        if int(labelMat[i]) == 1:       #如果分类为1，添加到1分类的点集，否者返回到0分类的点集
            xcord1.append(dataArr[i, 1])        #这个dataArr有3列，其中第0列为1，第1,2列为x，y
            ycord1.append(dataArr[i, 2])
        else:
            xcord0.append(dataArr[i, 1])
            ycord0.append(dataArr[i, 2])
    fig = plt.figure()      #figure()函数创建一个新的图
    ax = fig.add_subplot(111)       #add_subplot()函数在一张figure里面生成多张子图参数111，表示1行1列第1个位置
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')       #散点图
    ax.scatter(xcord0, ycord0, s=30, c='green')
    # 直线 x 的范围
    x = arange(-3.0, 3.0, 0.1)      # (start, end, step)可以调step执行起来，看看图
    # 画出直线，weights[0]*1.0+weights[1]*x+weights[2]*y=0
    # 之前计算时对原始数据做了拓展，将两维拓展为三维，第一维全部设置为1.0，实际他是一个 y=ax+b, b常量
    y = (-weights[0]-weights[1]*x)/weights[2]
    ax.plot(x, y)       #画出直线
    plt.xlabel('x1')        #X轴标记为x1
    plt.ylabel('x0')        #Y轴标记为x0
    plt.show()

plotBestFit(weights.getA())  #getA()将weights矩阵转换为数组，getA()函数与mat()函数的功能相反
"""
如果是矩阵的话会报这样的错：
"have shapes {} and {}".format(x.shape, y.shape))
ValueError: x and y must have same first dimension, but have shapes (60,) and (1, 60)
为啥要用数组呢？因为 x = arange(-3.0, 3.0, 0.1)，len(x) = [3-(-3)]/0.1 = 60
而weights是矩阵的话，y = (-weights[0]-weights[1]*x)/weights[2]，len(y) = 1，有60个x，y只有一个，你这样都画不了线
而weights是数据的话，len(y) = 60
"""

testSet.txt数据集：（拷贝过去自己命名）

-0.017612	14.053064	0
-1.395634	4.662541	1
-0.752157	6.538620	0
-1.322371	7.152853	0
0.423363	11.054677	0
0.406704	7.067335	1
0.667394	12.741452	0
-2.460150	6.866805	1
0.569411	9.548755	0
-0.026632	10.427743	0
0.850433	6.920334	1
1.347183	13.175500	0
1.176813	3.167020	1
-1.781871	9.097953	0
-0.566606	5.749003	1
0.931635	1.589505	1
-0.024205	6.151823	1
-0.036453	2.690988	1
-0.196949	0.444165	1
1.014459	5.754399	1
1.985298	3.230619	1
-1.693453	-0.557540	1
-0.576525	11.778922	0
-0.346811	-1.678730	1
-2.124484	2.672471	1
1.217916	9.597015	0
-0.733928	9.098687	0
-3.642001	-1.618087	1
0.315985	3.523953	1
1.416614	9.619232	0
-0.386323	3.989286	1
0.556921	8.294984	1
1.224863	11.587360	0
-1.347803	-2.406051	1
1.196604	4.951851	1
0.275221	9.543647	0
0.470575	9.332488	0
-1.889567	9.542662	0
-1.527893	12.150579	0
-1.185247	11.309318	0
-0.445678	3.297303	1
1.042222	6.105155	1
-0.618787	10.320986	0
1.152083	0.548467	1
0.828534	2.676045	1
-1.237728	10.549033	0
-0.683565	-2.166125	1
0.229456	5.921938	1
-0.959885	11.555336	0
0.492911	10.993324	0
0.184992	8.721488	0
-0.355715	10.325976	0
-0.397822	8.058397	0
0.824839	13.730343	0
1.507278	5.027866	1
0.099671	6.835839	1
-0.344008	10.717485	0
1.785928	7.718645	1
-0.918801	11.560217	0
-0.364009	4.747300	1
-0.841722	4.119083	1
0.490426	1.960539	1
-0.007194	9.075792	0
0.356107	12.447863	0
0.342578	12.281162	0
-0.810823	-1.466018	1
2.530777	6.476801	1
1.296683	11.607559	0
0.475487	12.040035	0
-0.783277	11.009725	0
0.074798	11.023650	0
-1.337472	0.468339	1
-0.102781	13.763651	0
-0.147324	2.874846	1
0.518389	9.887035	0
1.015399	7.571882	0
-1.658086	-0.027255	1
1.319944	2.171228	1
2.056216	5.019981	1
-0.851633	4.375691	1
-1.510047	6.061992	0
-1.076637	-3.181888	1
1.821096	10.283990	0
3.010150	8.401766	1
-1.099458	1.688274	1
-0.834872	-1.733869	1
-0.846637	3.849075	1
1.400102	12.628781	0
1.752842	5.468166	1
0.078557	0.059736	1
0.089392	-0.715300	1
1.825662	12.693808	0
0.197445	9.744638	0
0.126117	0.922311	1
-0.679797	1.220530	1
0.677983	2.556666	1
0.761349	10.693862	0
-2.168791	0.143632	1
1.388610	9.341997	0
0.317029	14.739025	0