Pytorch深度学习——优化器

Pytorch深度学习——优化器

  • 一、PyCham下新建文件
    • 二、代码模块
    • 三、运行结果分析

继昨天损失函数Loss Functions学习后,在此基础上加入优化Optimization

一、PyCham下新建文件

Pytorch深度学习——优化器_第1张图片

二、代码模块

就是在上一篇网络学习内容的基础上添加了优化模块

import torch
import torchvision
from torch import nn
from torch.nn import Sequential, Conv2d, MaxPool2d, Flatten, Linear
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10("../dataset", train=False, transform=torchvision.transforms.ToTensor(), download=True)

dataloader = DataLoader(dataset, batch_size=1)
//使用网络同上一篇学习内容一样
class Nj(nn.Module):
    def __init__(self):
        super(Nj, self).__init__()
        self.model1 = Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10)
        )

    def forward(self, x):
        x = self.model1(x)
        return x

loss = nn.CrossEntropyLoss()
nj = Nj()
//此处加入优化模块
optim = torch.optim.SGD(nj.parameters(), lr=0.01)
for epoch in range(20):   //对其进行重复循环训练20次
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = nj(imgs)
        result_loss = loss(outputs,targets)
        optim.zero_grad()   //梯度清零操作(关键)
        result_loss.backward()
        optim.step()
        running_loss = running_loss + result_loss
    print(running_loss)

三、运行结果分析

Pytorch深度学习——优化器_第2张图片
Loss损失函数结果一定是越小越好的,如上可看出循环到第三次就开始反向优化了,并且最终出现nan值
分析原因:
1.后期越学习LOSS值越大,很有可能是“梯度向上”了
2.训练的过程中曲线突然消失,遇到nan值,可能是模型设置的缘故

因为这只是在初学习的简单模型,故可能是神经网络设计本身就存在问题,
如果神经网络设计没有明显错误的,但损失曲线显示仍然奇怪,
则可能是因为:
1)损失函数采用问题
2)训练的数据的载入方式问题
3)参数设置问题
4)优化器问题

你可能感兴趣的:(深度学习,Pytorch,基于模型,优化,深度学习,pytorch)