机器学习-Logistic回归（改进）

首先，alpha的确定如果太小，一步一步走的太慢：

如果取得太大，容易跨过最小（最大）值，造成震荡：

所以最合适的是取一个变化的量，逐步逼近：

 

另外，当数据过大时，使用全批量会计算所有数据，复杂度太高，其实这种算法大约计算一百个左右就可确定，所以改进全批量为随机：

import numpy as np
import matplotlib.pyplot as plt
import random

"""装载函数"""


def loadDataSet():
    dataMat = []
    labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():  # 按行取数据
        lineArr = line.strip().split()  # 按空格切分
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])  # 每一行的前两个数据存入特征集
        labelMat.append(int(lineArr[2]))  # 每一行的最后一个数据存入标签集
    return dataMat, labelMat


"""Sigmoid函数"""


def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))


"""梯度上升发"""


def stocGradAscent1(dataMatrix, classLabels, numIter):
    m, n = np.shape(dataMatrix)  # 返回dataMatrix的大小。m为行数,n为列数。
    weights = np.ones(n)  # 参数初始化
    weights_array = np.array([])  # 存储每次更新的回归系数
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4 / (1.0 + j + i) + 0.01  # 降低alpha的大小，每次减小1/(j+i)。
            randIndex = int(random.uniform(0, len(dataIndex)))  # 随机选取样本
            h = sigmoid(sum(dataMatrix[randIndex] * weights))  # 选择随机选取的一个样本，计算h
            error = classLabels[randIndex] - h  # 计算误差
            weights = weights + alpha * error * dataMatrix[randIndex]  # 更新回归系数
            weights_array = np.append(weights_array, weights, axis=0)  # 添加回归系数到数组中
            del (dataIndex[randIndex])  # 删除已经使用的样本
    weights_array = weights_array.reshape(numIter * m, n)  # 改变维度
    return weights, weights_array  # 返回


"""绘制拟合曲线"""


def plotBestFit(weights):
    dataMat, labelMat = loadDataSet()
    dataArr = np.array(dataMat)
    n = np.shape(dataMat)[0]  # 数据个数
    xcord1 = []
    ycord1 = []
    xcord2 = []
    ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:  # 红色的点
            xcord1.append(dataArr[i, 1])
            ycord1.append(dataArr[i, 2])
        else:  # 绿色的点
            xcord2.append(dataArr[i, 1])
            ycord2.append(dataArr[i, 2])
    fig = plt.figure()  # 画布大小默认
    ax = fig.add_subplot(111)  # 设置子图
    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')
    ax.scatter(xcord2, ycord2, s=30, c='green')
    x = np.arange(-3.0, 3.0, 0.1)  # 绘制你和曲线，x轴方向每次增加0.1个点
    y = (-weights[0] - weights[1] * x) / weights[2]  # 绘制你和曲线 y轴方向每次增加幅度
    ax.plot(x, y)
    plt.title('BestFit')
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()


if __name__ == '__main__':
    dataMat, labelMat = loadDataSet()
    weights1, weights_array1 = stocGradAscent1(np.array(dataMat), labelMat, 150)
    plotBestFit(weights1)