【PyTorch攻略（2/7）】 加载数据集

一、说明

        PyTorch提供了两个数据原语：torch.utils.data.DataLoader和torch.utils.data.Dataset，允许您使用预加载的数据集以及您自己的数据。数据集存储样本及其相应的标签，DataLoader 围绕数据集包装一个可迭代对象，以便轻松访问样本。

        PyTorch域库提供了许多示例预加载数据集，例如FashionMNIST，它子类torch.utils.data.Dataset并实现特定于特定数据的函数。可以在此处找到它们并用作原型设计和基准测试模型的示例：

• 图像数据集
• 文本数据集
• 音频数据集

二、加载数据集

        我们将从TorchVision加载FashionMNIST数据集。FashionMNIST是Zalando文章图像的数据集，由60,000个训练示例和10,000个测试示例组成。每个示例包含一个 28x28 灰度图像和一个来自 10 个类之一的相关标签。

• 每张图片高 28 像素，宽 28 像素，共 784 像素。
• 这 10 个类告诉它是什么类型的图像。例如，T型短裤/上衣，裤子，套头衫，连衣裙，包，踝靴等。
• 灰度是介于 0 到 255 之间的值，用于测量黑白图像的强度。强度值从白色增加到黑色。例如，白色为 0，黑色为 255。

        我们使用以下参数加载 FashionMNIST 数据集：

• 根是存储训练/测试数据的路径。
• 训练指定训练或测试数据集。
• download = 如果数据在根目录中不可用，则 True 从互联网下载数据。
• 转换指定特征和标注转换。

import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda
import matplotlib.pyplot as plt

training_data = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor()
)

test_data = datasets.FashionMNIST(
    root="data",
    train=False,
    download=True,
    transform=ToTensor()
)

三、迭代和可视化数据集

我们可以像列表一样手动索引数据集：training_data[index]。我们使用 matplotlib 来可视化训练数据中的一些样本。

labels_map = {
    0: "T-Shirt",
    1: "Trouser",
    2: "Pullover",
    3: "Dress",
    4: "Coat",
    5: "Sandal",
    6: "Shirt",
    7: "Sneaker",
    8: "Bag",
    9: "Ankle Boot",
}
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in range(1, cols * rows + 1):
    sample_idx = torch.randint(len(training_data), size=(1,)).item()
    img, label = training_data[sample_idx] # Iterate training data
    figure.add_subplot(rows, cols, i)
    plt.title(labels_map[label])
    plt.axis("off")
    plt.imshow(img.squeeze(), cmap="gray")
plt.show()

四、准备数据以使用数据加载程序进行训练

        数据集检索数据集的特征并一次标记一个样本。在训练模型时，我们通常希望以“小批量”方式传递样本，在每个时期重新洗牌数据以减少模型过度拟合，并使用 Python 的多处理来加速数据检索。

在机器学习中，需要指定数据集中的特征和标签。要素是输入，标注是输出。我们训练特征并训练模型来预测标签。

        DataLoader 是一个迭代对象，它在一个简单的 API 中为我们抽象了这种复杂性。要使用数据加载器，我们需要设置以下参数：

• 数据是将用于训练模型的训练数据;以及用于评估模型的测试数据。
• 批大小是每个批中要处理的记录数。
• 随机播放是按索引随机抽取的数据。

from torch.utils.data import DataLoader

train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True)
test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)

五、遍历数据加载器

        我们已将数据集加载到数据加载器中，并可以根据需要循环访问数据集。下面的每次迭代都会返回一批train_features和train_labels（分别包含 batch_size = 64 个要素和标注）。由于我们指定了 shuffle = True，因此在我们遍历所有批次后，数据将被洗牌。

# Display image and label
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")

img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")

        NOrmalization是一种常见的数据预处理技术，用于缩放或转换数据，以确保每个特征的学习贡献相等。例如，灰度图像中的每个像素都有一个介于 0 到 255 之间的值，这些值是特征。如果一个像素值为 17，另一个像素值为 197。像素重要性的分布将不均匀，因为较高的像素体积会偏离学习。归一化会更改数据的范围，而不会扭曲其在我们的功能之间的区别。进行此预处理是为了避免：

• 预测精度降低
• 模型学习的难度
• 特征数据范围的不利分布

六、变换

数据并不总是以训练机器学习算法所需的最终处理形式出现。我们使用 transform 对数据执行一些操作，并使其适合训练。

所有 TorchVision 数据集都有两个参数：用于修改特征的转换和用于修改接受包含转换逻辑的可调用对象的标签target_transform。torchvision.transform模块提供了几种开箱即用的常用变换。

FashionMNIST 功能采用 PIL 图像格式，标签为整数。对于训练，我们需要特征作为规范化张量，标签作为独热编码张量。为了进行这些转换，我们使用ToTensor和Lamda。

from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda

ds = datasets.FashionMNIST(
    root="data",
    train=True,
    download=True,
    transform=ToTensor(),
    target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)

七、ToTensor（）

ToTensor 将 PIL 图像或 NumPy ndarray 转换为 FloatTensor，并将图像的像素强度值缩放在 [0.， 1.] 范围内。

八、Lambda（）

        Lambda 应用任何用户定义的 lambda 函数。在这里，我们定义了一个函数来将整数转换为独热编码张量。它首先创建一个大小为 10（我们数据集中的标签数量）的张量并调用 scatter，它在索引上分配一个 value=1，如标签 y 给出的那样。您也可以将torch.nn.functional.one_hot用作其他选项。

target_transform = Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(dim=0, index=torch.tensor(y), value=1))

下一>> PyTorch 简介 （3/7）