ML——基于梯度下降算法（BGD）下的多元线性回归问题

本文以sklearn里的Boston数据集为例，尝试用批量梯度下降算法训练并预测数据。

一.以下是编写的类函数（路径为linear/test1）：

---

import numpy as np
#采用批量梯度下降算法（BGD）解多元线性回归算法
class gd:
    def __init__(self):
        self.core = None
        self.th = None
        self.theat = None
    def gra(self,x_train,y_train,eta):
        x_train = np.array(x_train)
        y_train = np.array(y_train)
        x_train = x_train.reshape((len(y_train),-1))
        assert x_train.shape[0] == len(y_train)
        self.x_b = np.hstack([np.ones((len(y_train),1)),x_train])
        ini_theat = np.zeros(self.x_b.shape[1])
        def J(theat):
            return ((y_train - self.predict(self.x_b,theat)).dot(y_train - self.predict(self.x_b,theat))) / len(y_train)  #目标函数
        def dJ(theat):
            b = (self.x_b.T).dot(self.x_b.dot(theat) - y_train) * 2 / len(y_train)   #求解梯度（前提是要自己先推出梯度的m×1矩阵，再来写代码）
            return b


            # dJ_list = []
            # for i in range(self.x_b.shape[1]):
            #     dJ_list.append(-2 * (y_train - self.x_b.dot(theat)).dot(self.x_b[:,i]))
            # return np.array(dJ_list)  / len(self.x_b)  #这里是较为笨拙的梯度矩阵求解（同上区别在于推出梯度矩阵后没有化简，就写了代码）
        def gradient_descent(elison = 1e-8,n = 1e5):
            theat = ini_theat
            theat_list = []
            theat_list.append(theat)
            i = 0
            while i < n:
                last_theat = theat
                theat = theat - dJ(theat) * eta
                theat_list.append(theat)
                if abs(J(theat) - J(last_theat)) < elison:
                    break
                i += 1
            self.theat = theat
            self.core = theat_list[0]
            self.th = theat[1:]
            return theat_list
        return np.array(gradient_descent())
    def predict(self,x,theat):
        x = np.array(x)
        assert x.shape[1] == len(theat)
        return np.array(x.dot(theat))
    def __repr__(self):
        return 'gd()'

二.以下是进行数据测试（Boston）：

from linear.test1 import gd
from sklearn.preprocessing import StandardScaler
data = datasets.load_boston()
t = data.data
r = data.target

x = t[r < 50]
y = r[r < 50]

m = StandardScaler()
m.fit(x)
x = m.transform(x)   #标准化数据

n = gd()
n.gra(x,y,0.01)  #梯度下降法
print(n.theat)
print(data.feature_names[np.argsort(n.th)])  #分析权重

三.以下是运行结果：

             

    其中feature_names中越靠后的特征（正值）同房价的正相关程度越高。结合上图结果分析即"RM""RAD""ZN"等特征数据越大，房价越高，越靠后的特征（负值）同房价负相关程度越高。同样结合上图知"DIS""LSTAT""TAX"等特征数据越大，房价越低。 

    初学机器学习算法，程序设计如有不妥之处，还请大佬们多多指教，谢谢了。