2021.10.20
BP算法包括信号的前向传播和误差的反向传播两个过程。即计算误差输出时按从输入到输出的方向进行,而调整权值和阈值则从输出到输入的方向进行.
线性模型 y=w*x
机器学习中最重要的是让损失函数最小,求损失函数对于w的导数来更新权重
pytorch中,tensor是用来存数据的,可以存标量、向量、矩阵、高阶tensor
tensor中包含data和grad,分别保存权重值和损失函数对权重的导数,data和grad也是tensor
建立了tensor就可以去建立计算图
用tensor需要import torch
反向传播体现在l.backward
w.item
w.data只取数值,不产生计算图
data也是tensor,但是不建立计算图,只是拿出数值,。item就是把数值转换成标量
import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w = torch.Tensor([1.0]) # 设权重为1.0
w.requires_grad = True # 需要计算梯度
def forward(x):
return x*w #w是tensor,乘法运算重载了,需要进行tensor与tensor之间的数乘,x自动类型转换为tensor
#每调用loss函数一次,就把计算图动态的构建出来了
def loss(x,y):
y_pred=forward(x)
return (y_pred-y)**2
print("predict (before training)",4,forward(4).item())
#训练过程
for epoch in range(100):
for x,y in zip(x_data,y_data):
l=loss(x,y)#forward,compute the loss
l.backward()#backward,compute the grad for Tensor whose requires_grad set to True.将grad存在ww里,只要一做backward,计算图就被释放了
print("\tgrad:",x,y,w.grad.item())#item产生标量,也是为了防止产生计算图
w.data=w.data-0.01*w.grad.data#全中更新时使用data。grad也是一个tensor,所以需要取data来读取值,否则会建立计算图。我们只需要对数值修改,不用求梯度
w.grad.data.zero_()#权重里梯度数据清零
print('progress:',epoch,l.item())
print("predict(after training)",4,forward(4).item())
作业:
import torch
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
w1 = torch.Tensor([1.0])
w2 = torch.Tensor([1.0])
b = torch.Tensor([1.0])# 设权重为1.0
w1.requires_grad = True
w2.requires_grad = True
b.requires_grad = True# 需要计算梯度
def forward(x):
return x*x*w1+x*w2-b #w是tensor,乘法运算重载了,需要进行tensor与tensor之间的数乘,x自动类型转换为tensor
#每调用loss函数一次,就把计算图动态的构建出来了
def loss(x,y):
y_pred=forward(x)
return (y_pred-y)**2
print("predict (before training)",4,forward(4).item())
#训练过程
for epoch in range(100):
for x,y in zip(x_data,y_data):
l=loss(x,y)#forward,compute the loss
l.backward()#backward,compute the grad for Tensor whose requires_grad set to True.将grad存在ww里,只要一做backward,计算图就被释放了
print("\tgrad:",x,y,w1.grad.item(),w2.grad.item(),b.grad.item())#item产生标量,也是为了防止产生计算图
w1.data=w1.data-0.01*w1.grad.data
w2.data=w2.data-0.01*w2.grad.data
b.data=b.data-0.01*b.grad.data#全中更新时使用data。grad也是一个tensor,所以需要取data来读取值,否则会建立计算图。我们只需要对数值修改,不用求梯度
w1.grad.data.zero_()#权重里梯度数据清零
w2.grad.data.zero_()
b.grad.data.zero_()
print('progress:',epoch,l.item())
print("predict(after training)",4,forward(4).item())