PyTorch入门学习（十三）：损失函数与反向传播

目录

一、引言

二、损失函数的重要性

三、使用交叉熵损失函数

四、使用均方误差损失函数

---

一、引言

深度学习的核心目标之一是最小化损失函数，以使模型能够更好地适应训练数据。本文将介绍如何在PyTorch中使用损失函数和反向传播来训练深度学习模型。接下来将详细解释提供的代码，并深入探讨交叉熵损失函数、均方误差损失函数以及它们在模型训练中的应用。

二、损失函数的重要性

损失函数是深度学习模型训练的关键组成部分，它定义了模型的性能度量。模型的目标是通过最小化损失函数来找到最佳参数，以便预测与实际观测值（标签）最为接近。

三、使用交叉熵损失函数

在提供的代码中，加载了CIFAR-10数据集，并创建了一个名为Tudui的卷积神经网络模型。接下来使用nn.CrossEntropyLoss()创建了一个交叉熵损失函数的实例。

loss_cross = nn.CrossEntropyLoss()

这是一种常用于多类别分类问题的损失函数。对于每个样本，它将模型的输出与正确的类别标签进行比较，并计算损失。

for data in dataloader:
    imgs, labels = data
    outputs = tudui(imgs)
    results = loss_cross(outputs, labels)
    results.backward()
    print(results)

在循环中，迭代数据加载器中的样本，将输入传递给模型，计算损失，然后使用results.backward()执行反向传播。这将计算梯度，以便可以使用梯度下降等优化算法来更新模型参数，从而最小化损失。

四、使用均方误差损失函数

在代码的后半部分，定义了一个示例输入和目标，并创建了L1损失和均方误差（MSE）损失函数的实例。

inputs = torch.tensor([1, 2, 3], dtype=torch.float32)
targets = torch.tensor([1, 2, 5], dtype=torch.float32)

inputs = torch.reshape(inputs, (1, 1, 1, 3))
targets = torch.reshape(targets, (1, 1, 1, 3))

loss = L1Loss(reduction='sum')
result = loss(inputs, targets)
print(result)

loss_mse = MSELoss()
result_mse = loss_mse(inputs, targets)
print(result_mse)

L1损失是绝对误差损失，它测量了预测值和目标值之间的差异的绝对值之和。而均方误差损失则测量了它们之间的平方差异的平均值。

完整代码如下：

import torch
import torchvision.datasets
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader

dataset = torchvision.datasets.CIFAR10(root="D:\\Python_Project\\pytorch\\dataset2",train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader = DataLoader(dataset=dataset,batch_size=1)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui,self).__init__()
        self.model1 =Sequential(
            Conv2d(3, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 32, 5, padding=2),
            MaxPool2d(2),
            Conv2d(32, 64, 5, padding=2),
            MaxPool2d(2),
            Flatten(),
            Linear(1024, 64),
            Linear(64, 10),
        )

    def forward(self,x):
        x = self.model1(x)
        return x

tudui = Tudui()

# 使用交叉熵损失函数
loss_cross = nn.CrossEntropyLoss()

for data in dataloader:
    imgs,labels = data
    outputs = tudui(imgs)
    results = loss_cross(outputs,labels)

    results.backward()
    print(results)

import torch
from torch import nn
from torch.nn import L1Loss, MSELoss

inputs = torch.tensor([1,2,3],dtype=torch.float32)
targets = torch.tensor([1,2,5],dtype=torch.float32)

inputs = torch.reshape(inputs,(1,1,1,3))
targets = torch.reshape(targets,(1,1,1,3))

loss = L1Loss(reduction='sum')
result = loss(inputs,targets)
print(result)

loss_mse = MSELoss()
result_mse = loss_mse(inputs,targets)
print(result_mse)

参考资料：

视频教程：PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】