使用torch 本地导入数据集 以Cifar10 为例

刚刚开始学习机器视觉和数据挖掘,使用了一个非常经典的数据集 Cifar10。

但是啊,通过官网下载Cifar10,速度实在是让人崩溃。因此为了开展学习我就从其他网站找了数据集下载到了本地。

下载地址很多,CSDN上一搜一大把的。

下载下来以后好多文章都在讲如何本地导入Cifar,我也尝试了一些他们的办法,但是不太好用。自己一边查阅一边实验,找打了一个基于python3.9以上版本。

分享记录一下:

import torch
from torch.utils.data import DataLoader
import torchvision.datasets as dsets
import numpy as np

train_sets = dsets.CIFAR10(root = '/ml/pycifar',     # 选择数据的根目录
                           train = True,         # 选择训练集
                           download = False)         # 从网络上下载图片

test_sets = dsets.CIFAR10(root = '/ml/pycifar',     # 选择数据的根目录
                           train = False,         # 选择测试集
                           download = False)         # 从网络上下载图片


train_loader = torch.utils.data.DataLoader(dataset = train_sets,
                                           batch_size = batch_size, 
                                           shuffle = True)  #将数据打乱
test_loader = torch.utils.data.DataLoader(dataset = test_sets,
                                          batch_size = batch_size,
                                          shuffle = True)

1.把下载好的数据集cifar-10-python.tar.gz 复制到我的目录下:/ml/pycifar。说一下这个目录(root)。python使用的是相对目录。我的项目在D盘,因此这个目录的地址是:D:\ml\pycifar

2.复制到该目录下以后,解压到当前目录。

3.一定要记得把download设置为False。有些书上写的True,它就还是会从网上下载。

执行程序,导入成功。

你可能感兴趣的:(pytorch,python,深度学习)