[pytorch入门] 9. 优化器

介绍

在pytorch的官方文档中，所有的优化器都集中在torch.optim中

在官方文档中，会告诉你如何去创建一个优化器

选择一种优化器创建，传入模型的参数（必需的）、学习速率（几乎是每个优化器都有的参数）、优化器算法中特定需要设置的参数

可以在其中选择优化器的算法，设置相应参数，包括一些必备参数以及学习速率等
参数比较多比较复杂，初始阶段先设置params和lr（学习速率）就可以了

使用方法

官方文档中也给出了一些optim的使用

for input, target in dataset:
    optimizer.zero_grad()  # 对之前训练的梯度清零
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

对之前训练的梯度清零这一步一定要写，不然会导致模型出现问题

算法

实例

import torch
import torchvision
from torch import nn
from torch.utils.data import dataloader
from torch.utils.tensorboard import SummaryWriter

dataset = torchvision.datasets.CIFAR10('./dataset', train=False, transform=torchvision.transforms.ToTensor())
dataloader = dataloader.DataLoader(dataset=dataset, batch_size = 64)

class Test(nn.Module):
    def __init__(self):
        super(Test, self).__init__()
        self.model1 = nn.Sequential(
            nn.Conv2d(in_channels=3, out_channels=32, kernel_size=5, padding=2),
            nn.MaxPool2d(kernel_size=2),
            nn.Conv2d(in_channels=32, out_channels=32, kernel_size=5, padding=2),
            nn.MaxPool2d(kernel_size=2),
            nn.Conv2d(in_channels=32, out_channels=64, kernel_size=5, padding=2),
            nn.MaxPool2d(kernel_size=2),
            nn.Flatten(),
            nn.Linear(1024, 64),
            nn.Linear(64, 10)
        )
    
    def forward(self, x):
        x = self.model1(x)
        return x

loss = nn.CrossEntropyLoss()
net = Test()
optimizer = torch.optim.SGD(net.parameters(), lr = 0.01)
# 学习速率的设置不能太大也不能太小 
    # 太大：跨度大，可能会跨过最优值
    # 太小：学习慢
# 一般情况下，学习速率的设置先大后小

for epoch in range(20):
    running_loss = 0.0
    for data in dataloader:
        img, target = data
        output = net(img)
        result_loss = loss(output, target)

        optimizer.zero_grad()  # 对网络模型中每个可以调节的参数设置为0
        result_loss.backward() # 使用优化器对每个参数进行优化，首先就需要获取每个参数的梯度
        optimizer.step()
        # print(result_loss)
        running_loss += result_loss
    print(running_loss)

可以发现每轮训练的误差都在减小