pytorch 图像分类数据集（Fashion-MNIST）

原文链接 http://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.5_fashion-mnist
我们将使用torchvision包，torchvision主要由以下几部分构成：

1. torchvision.datasets: 一些加载数据的函数及常用的数据集接口；
2. torchvision.models:包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；
3. torchvision.transforms:常用的图片变换，例如裁剪、旋转等；
4. torchvision.utils: 其他的一些有用的方法。

获取数据集

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import time
import sys
mnist_train = torchvision.datasets.FashionMNIST(root='~/Datasets', train=True, download=True, transform=transforms.ToTensor())
mnist_test = torchvision.datasets.FashionMNIST(root='~/Datasets', train=False, download=True, transform=transforms.ToTensor())

• 通过torchvision的torchvision.datasets来下载这个数据集。第一次调用时会自动从网上获取数据。
• 通过参数train来指定获取训练数据集或测试数据集（testing data set）。
• 指定参数transform =transforms.ToTensor()使所有数据转换为Tensor，如果不进行转换则返回的是PIL图片。

transforms.ToTensor()将尺寸为 (H x W x C) 且数据位于[0, 255]的PIL图片或者数据类型为np.uint8的NumPy数组转换为尺寸为(C x H x W)且数据类型为torch.float32且位于[0.0, 1.0]的Tensor。

使用len()来获取该数据集的大小，还可以用下标来获取具体的一个样本。
训练集中和测试集中的每个类别的图像数分别为6,000和1,000。
因为有10个类别，所以训练集和测试集的样本数分别为60,000和10,000。

print(type(mnist_train))
print(len(mnist_train), len(mnist_test))
feature, label = mnist_train[0]
print(feature.shape, label)  # Channel x Height x Width

60000 10000
torch.Size([1, 28, 28]) tensor(9)

变量feature对应高和宽均为28像素的图像，feature的尺寸是 (C x H x W) 。因为数据集是灰度图像，所以通道数为1。后面两维分别是图像的高和宽。

显示图片

Fashion-MNIST中一共包括了10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。

# 将数值标签转成相应的文本标签。
def get_fashion_mnist_labels(labels):
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]
    
# 在一行里画出多张图像和对应标签    
def show_fashion_mnist(images, labels):
    d2l.use_svg_display()
    # 这里的_表示我们忽略（不使用）的变量
    _, figs = plt.subplots(1, len(images), figsize=(12, 12))
    for f, img, lbl in zip(figs, images, labels):
        f.imshow(img.view((28, 28)).numpy())
        f.set_title(lbl)
        f.axes.get_xaxis().set_visible(False)
        f.axes.get_yaxis().set_visible(False)
    plt.show()

# 训练数据集中前10个样本的图像内容和文本标签    
X, y = [], []
for i in range(10):
    X.append(mnist_train[i][0])
    y.append(mnist_train[i][1])
show_fashion_mnist(X, get_fashion_mnist_labels(y))

读取小批量

torch.utils.data.DataLoader来创建一个读取小批量数据样本的DataLoader实例。

batch_size = 256
if sys.platform.startswith('win'):
    num_workers = 0  # 0表示不用额外的进程来加速读取数据
else:
    num_workers = 4
train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=num_workers)
test_iter = torch.utils.data.DataLoader(mnist_test, batch_size=batch_size, shuffle=False, num_workers=num_workers)

for X, y in train_iter:
    print(X.shape,y)
    break

该函数将返回train_iter和test_iter两个变量