PyTorch优化函数

PyTorch优化器导入

一、导入PyTorch

import torch
import torch.nn as nn

二、定义模型

net = nn.Sequential(
    nn.Linear(20,30),
    nn.ReLU(),
    nn.Linear(30,10),
    nn.ReLU()
)

三、导入优化器

导入优化器1 :梯度下降法SGD

optimzier1 = torch.optim.SGD(net.parameters(), 1e-2)

导入优化器2 :SGD+momentum

optimzier2 = torch.optim.SGD(net.parameters(), lr=1e-2, momentum = 0.9)

导入优化器3 :Adagrad

optimzier3 = torch.optim.Adagrad(net.parameters(),lr=1e-2)

导入优化器4 :RMSprop

optimzier4 = torch.optim.RMSprop(net.parameters(),lr=1e-2, alpha=0.9)

导入优化器5 :Adadelte

optimzier5 = torch.optim.Adadelta(net.parameters(),rho=0.9)

导入优化器6 :Adam

optimzier4 = torch.optim.Adam(net.parameters(),lr=1e-3)