一元线性回归——梯度下降法

梯度下降法实现一元线性回归(代码部分）

导入需要用到的包

import numpy as np
import matplotlib.pyplot as plt

载入数据

data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:, 0]#所有行第0列
y_data = data[:, 1]#所有行第1列

设置相应的参数

#学习率learning rate
lr = 0.0001
#截距
b = 0
#斜率
k = 0
#最大迭代次数
epochs = 50

利用最小二乘法计算损失函数

根据上图可以得到相应代码
m对应len(x_data),
预测值则对应k*x_data[i]+b

def compute_error(b, k, x_data, y_data):
    totalError = 0
    for i in range(0, len(x_data)):
        totalError += (y_data[i] - (k * x_data[i] + b)) ** 2
    return totalError / float(len(x_data)) / 2.0

梯度下降法求解b, k
根据：

代码实现：

def gradient_descent_runner(x_data, y_data, b, k, lr, epochs):
    # 计算总数据量
    m = float(len(x_data))
    # 循环epochs次
    for i in range(epochs):
        b_grad = 0
        k_grad = 0
        # 计算梯度的总和再求平均
        for j in range(epochs):
            b_grad += (1/m) * (((k * x_data[j]) + b)-y_data[j])
            k_grad += (1/m) * x_data[j] * (((k * x_data[j]) + b) - y_data[j])
        # 更新b和k
        b = b - (lr * b_grad)
        k = k - (lr * k_grad)
        # 每迭代5次，输出一次图像，用来观察迭代效果时可去掉注释
        # if i % 5 == 0:
        #     print('epochs:',i)
        #     plt.plot(x_data,y_data,'b.')
        #     plt.plot(x_data,k*x_data + b,'r')
        #     plt.show()
    return b, k

得到结果：

print("Starting b = {0},k = {1},error = {2}".format(b, k, compute_error(b, k, x_data, y_data)))
print("Running...")
b, k = gradient_descent_runner(x_data, y_data, b, k, lr, epochs)
print("After {0} iterations b = {1},k = {2} , error = {3}".format(epochs, b, k, compute_error(b, k, x_data, y_data)))

最后通过图像观察拟合的效果

plt.plot(x_data, y_data, 'b.')  # 用blue颜色以“.”的形式画出来
plt.plot(x_data, k*x_data + b, 'r')
plt.show()