梯度下降法代码python实现

梯度下降法代码python实现 -有数据有图有真相

今天我们做了一个实验，通过生成多元回归数据进行梯度下降求解权重

1. 生成一份线性数据 $y=w_1\ast x_1=w_2\ast x_2+w_3\ast x_3+b$
   代码测试为 $y=5\ast x_1=w_2\ast 7+4\ast x_3+8$

2. 为线性数据增加噪声值 y=y+np.random.randn()*1+8

3. 之后通过梯度下降算法进行迭代，迭代次数5000轮

4. 绘制误差和权重迭代曲线

下面代码对于学习而言是个非常好的例子，如有疑问，可以在博客留言询问

import numpy as np
import os

import matplotlib.pyplot  as plt
w=np.array([5,7,4])


sample=np.random.randint(0,10,(100,3))


y=np.dot(sample,w)

#print(sample)
#print(y)

y=y+np.random.randn()*1+8
print(y)

w_zz=np.array([1,1,1,1])

learn_rating=0.0001
p=0
w=[[1],[1],[1],[1]]

loss=[]
for i in range(5000):
     d=0
     p=0
     loss_sum=np.array([])
     for x in  sample:
        sample_convert=np.append(x,1)
      #  print(sample_convert)
       # print(np.dot(sample_convert,w_zz)-y[p])
        loss_sum=np.append(loss_sum,(np.dot(sample_convert,w_zz)-y[p])**2)
        d=d+learn_rating*sample_convert*(np.dot(sample_convert,w_zz)-y[p])
        p=p+1
       # print(w_zz)
     w_zz=w_zz-d
     loss.append(loss_sum.mean())
     print(loss_sum.mean())
     for i in range(4):
            w[i].append(w_zz[i])
    
print(w_zz)
    
#print(w)

plt.plot(w[0])
plt.plot(w[1])
plt.plot(w[2])
plt.plot(w[3])
plt.legend(["w1","w2","w3","w4"])
plt.show()
plt.plot(loss[500:])
plt.show()
os.system("pause")

截图过下图所示

误差曲线图

权重迭代曲线图：

数据我已经上传到我的资源，可以免费下载，文件名为BP神经网络