多元线性回归算法python实现_手写算法-Python代码推广多元线性回归

1、梯度下降-矩阵形式

上篇文章介绍了一元线性回归,包括Python实现和sklearn实现的实例、对比,以及一些问题点,详情可以看这里:

链接: 手写算法-Python代码实现一元线性回归

里面封装的one_variable_linear()类只适用于一元线性回归,

本篇文章修改代码,推广至多元线性回归,并介绍2种更简洁的方法。

先给大家复习一下矩阵的基本知识:

转置矩阵:

损失函数可表示为:

可以求得:矩阵形式下,偏导的表达式是:

下面附上我的推导证明过程(刚写的):

有了上述表达式,我们修改上次的代码如下:

class linear(): def __init__(self): pass #梯度下降法迭代训练模型参数,x为特征数据,y为标签数据,a为学习率,epochs为迭代次数 def fit(self,x,y,a,epochs): #计算总数据量 m=x.shape[0] #给x添加偏置项 X = np.concatenate((np.ones((m,1)),x),axis=1) #计算总特征数 n = X.shape[1] #初始化W的值,要变成矩阵形式 W=np.mat(np.ones((n,1))) #X转为矩阵形式 xMat = np.mat(X) #y转为矩阵形式,这步非常重要,且要是m x 1的维度格式 yMat =np.mat(y.reshape(-1,1)) #循环epochs次 for i in range(epochs): W=W-a*xMat.T*(xMat*W-yMat) return W def predict(self,x,w): #这里的x也要加偏置,训练时x是什么维度的数据,预测也应该保持一样 return np.dot(x,w)1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

依然用上次的测试数据集,2个代码比较如下:

import numpy as np

import pandas as pd

from sklearn import datasets #sklearn生成数据集都在这里

from matplotlib import pyplot as plt

#生成一个特征的回归数据集

x,y=datasets.make_regression(n_features=1,noise=15,random_state=2020)

plt.scatter(x,y)

plt.show() class one_variable_linear(): #初始化参数,k为斜率,b为截距,a为学习率,n为迭代次数 def __init__(self,k,b,a,n): self.k =k self.b=b self.a=a self.n = n #梯度下降法迭代训练模型参数 def fit(self,x,y): #计算总数据量 m=len(x) #循环n次 for i in range(self.n): b_grad=0 k_grad=0 #计算梯度的总和再求平均 for j in range(m): b_grad += (1/m)*((self.k*x[j]+self.b)-y[j]) k_grad += (1/m)*((self.k*x[j]+self.b)-y[j])*x[j] #更新k,b self.b=self.b-(self.a*b_grad) self.k=self.k-(self.a*k_grad) #每迭代10次,就输出一次图像 if i%10==0: print('迭代{0}'.format(i)+'次') plt.plot(x,y,'b.') plt.plot(x,self.k*x+self.b,'r') plt.show() self.params= {'k':self.k,'b':self.b} #输出系数 return self.params #预测函数 def predict(self,x): y_pred =self.k * x + self.b return y_pred

lr=one_variable_linear(k=1,b=1,a=0.1,n=60)

lr.fit(x,y)1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

旧代码得到的参数如上,

新代码得到的参数如下:

model = linear()

w = model.fit(x,y,a=0.1,epochs=50)

print(w)1

2

3

我的天,这是什么鬼,怎么和上面的差的这么多(其实是我故意的),明显这个是不正确的,模型完全没有收敛,问题在哪里?

我们细想一下,正常的梯度下降法,前面是带m的,而矩阵形式,我们直接约掉了m,相当于学习率就被放大了m倍,所以这里学习率a应该设置为a/m=0.001,这样a就相等了,迭代次数也相等,冥冥中感觉这次的系数应该是一样的才对。再跑一下代码:

w = model.fit(x,y,a=0.001,epochs=50)

print(w)1

2

3

哈哈,完全一样,破案了,这里也解释了,之前说的,为什么损失函数前面1/2m这个值,其实对模型的参数没有影响,

但是你的学习率要选择得对,不能可能无法收敛。

现在这个类就是Python线性回归代码的一般式了,设置合理的学习率和迭代次数,就会得到不错的结果。

2、标准方程法

下面来介绍第二种方法,标准方程法。

有了前面的铺垫,这里就很容易理解了,损失函数:

因为这是一个凸函数,因此一定有极小值。根据最小二乘法的原理,我们要对这个损失函数对θ向量求导取0。结果如下式:

这个推导过程中也可以看到,1/2m对最终的系数没有影响,可以直接被约掉。

编写标准方程法代码如下:

class normal(): def __init__(self): pass def fit(self,x,y): m=x.shape[0] X = np.concatenate((np.ones((m,1)),x),axis=1) xMat=np.mat(X) yMat =np.mat(y.reshape(-1,1)) xTx=xMat.T*xMat #xTx.I为xTx的逆矩阵 ws=xTx.I*xMat.T*yMat return ws model =normal()

model.fit(x,y)1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

求出来的参数为:

这里要注意:XTX的逆矩阵不是什么时候都可以求得出来的,以下情况求不到XTX的逆矩阵:

1、特征数据高度线性相关;

2、n >>m,即特征数量大于样本数量,此时为非满秩矩阵;

sklearn实现对比标准方程法

from sklearn.linear_model import LinearRegression

LR=LinearRegression()

LR.fit(x,y)

LR.intercept_,LR.coef_1

2

3

4

和编写的标准方程法得到的参数一模一样,这里回答了之前说过为什么梯度下降法得到的参数和sklearn里面得到的参数不一样的问题,也说明了sklearn中封装的是标准方程法,毕竟真的简单!

下篇介绍非线性回归,当数据表现为非线性时,该怎么处理。

文章来源: blog.csdn.net,作者:Dream-YH,版权归原作者所有,如需转载,请联系作者。

原文链接:blog.csdn.net/weixin_44700798/article/details/110452229

你可能感兴趣的:(多元线性回归算法python实现_手写算法-Python代码推广多元线性回归)