PyTorch设立计算图并自动计算（梯度下降和线性回归的实现）

numpy和pytorch实现梯度下降法

1. 设定初始值
2. 求取梯度
3. 在梯度方向上进行参数的更新

使用Python实现

x = 1
learning_rate = 0.1
epochs = 100
y = lambda x : x ** 2 + 2 * x + 1

for epoch in range(epochs):
    dx = 2 * x + 2
    x = x - learning_rate * dx
print(x)
print(y(x))

用PyTorch实现

首先要介绍autograd机制

总结出来就是两点，Variable有两个属性一个是data，一个是grad.其次定以f(x).backward()即可返回梯度，但是记得要清零梯度。

用PyTorch实现梯度下降法

import torch
from torch.autograd import Variable
x=torch.Tensor([1])
#建立一个张量  tensor([1.], requires_grad=True)
x=Variable(x,requires_grad=True)
print('grad',x.grad,'data',x.data)
learning_rate=0.1
epochs=10

for epoch in range(epochs):
    y = x**2 + 2*x +1
    y.backward()
    print('grad',x.grad.data)
    x.data=x.data-learning_rate*x.grad.data
    #在PyTorch中梯度会积累假如不及时清零
    x.grad.data.zero_()

print(x.data)
print(y)

numpy和pytorch实现线性回归

用Numpy实现线性回归

import numpy as np
x_data=np.array([1,2,3])
y_data=np.array([2,4,6])

epochs=10
lr=0.1
w=0
cost=[]

for epoch in range(epochs):
    yhat=x_data*w
    loss=np.average((y_data-yhat)**2)
    cost.append(loss)
    dw=-2*(y_data-yhat)@x_data.T/(x_data.shape[0])
    w=w-lr*dw
    print(w)

print(w)

复习一下shape()函数
表示维度

用PyTorch实现线性回归

torch.manual_seed(2)
x_data=Variable(torch.Tensor([[1.0],[2.0],[3.0]]))
y_data=Variable(torch.Tensor([[2.0],[4.0],[6.0]]))

epochs=10
lr=0.1
w=Variable(torch.FloatTensor([0]),requires_grad=True)
cost=[]

for epoch in range(epochs):
    yhat=x_data*w
    loss=torch.mean((yhat-y_data)**2)
    cost.append(loss.data.numpy())
    loss.backward()
    w.data=w.data-lr*w.grad.data
    print(w.data)
    w.grad.data.zero_()
    
w.data

loss其实也是一个tensor，转numpy()后就成了一个数

pytorch实现一个简单的神经网络

torch.manual_seed(2)
x_data=Variable(torch.Tensor([[1.0],[2.0],[3.0]]))
y_data=Variable(torch.Tensor([[2.0],[4.0],[6.0]]))
#def the model
#claas来构建一个类，通过class Model来写一个神经网络
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear = torch.nn.Linear(1,1,bias=False)
    def forward(self,x):
        y_pred=self.linear(x)
        return y_pred

    
model=Model()
print(model)

criterion=torch.nn.MSELoss(size_average=False)
optimizer=torch.optim.SGD(model.parameters(),lr=0.01)
epochs=20
cost=[]
for epoch in range(epochs):
    y_pred=model(x_data)
    loss=criterion(y_pred,y_data)
    print(loss)
    cost.append(loss.data[0])
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
list(model.parameters())

放上三张学习的原图，里面有些过程有小错误，上面我自己敲的代码已经改过了，并有相应的运行结果截图，放上来主要是这三张学习资料有详细的注释，方便下次复习！