梯度下降法代码python实现

梯度下降法代码python实现 -有数据有图有真相

今天我们做了一个实验,通过生成多元回归数据进行梯度下降求解权重

  1. 生成一份线性数据 y = w 1 ∗ x 1 = w 2 ∗ x 2 + w 3 ∗ x 3 + b y=w_1*x_1=w_2*x_2+w_3*x_3+b y=w1x1=w2x2+w3x3+b
    代码测试为 y = 5 ∗ x 1 = w 2 ∗ 7 + 4 ∗ x 3 + 8 y=5*x_1=w_2*7+4*x_3+8 y=5x1=w27+4x3+8

  2. 为线性数据增加噪声值 y=y+np.random.randn()*1+8

  3. 之后通过梯度下降算法进行迭代,迭代次数5000轮

  4. 绘制误差和权重迭代曲线

下面代码对于学习而言是个非常好的例子,如有疑问,可以在博客留言询问


import numpy as np
import os

import matplotlib.pyplot  as plt
w=np.array([5,7,4])


sample=np.random.randint(0,10,(100,3))


y=np.dot(sample,w)

#print(sample)
#print(y)

y=y+np.random.randn()*1+8
print(y)

w_zz=np.array([1,1,1,1])

learn_rating=0.0001
p=0
w=[[1],[1],[1],[1]]

loss=[]
for i in range(5000):
     d=0
     p=0
     loss_sum=np.array([])
     for x in  sample:
        sample_convert=np.append(x,1)
      #  print(sample_convert)
       # print(np.dot(sample_convert,w_zz)-y[p])
        loss_sum=np.append(loss_sum,(np.dot(sample_convert,w_zz)-y[p])**2)
        d=d+learn_rating*sample_convert*(np.dot(sample_convert,w_zz)-y[p])
        p=p+1
       # print(w_zz)
     w_zz=w_zz-d
     loss.append(loss_sum.mean())
     print(loss_sum.mean())
     for i in range(4):
            w[i].append(w_zz[i])
    
print(w_zz)
    
#print(w)

plt.plot(w[0])
plt.plot(w[1])
plt.plot(w[2])
plt.plot(w[3])
plt.legend(["w1","w2","w3","w4"])
plt.show()
plt.plot(loss[500:])
plt.show()
os.system("pause")

截图过下图所示
在这里插入图片描述

误差曲线图
梯度下降法代码python实现_第1张图片

权重迭代曲线图:
梯度下降法代码python实现_第2张图片

数据我已经上传到我的资源,可以免费下载,文件名为BP神经网络

你可能感兴趣的:(python,数学,机器学习,python,机器学习,算法)