pytorch自带数据集

数据集相关

简介

进入pytorch官网选中torchvision

trochvision中有很多模块，比如数据集，红色字体是相关数据集的API文档

其中CIFAR是作为物体识别的一个数据集，等会作为案例使用。

本篇文章主要讲解torchvision datasets 以及 datasets如何与transforms进行联合使用。

CIFAR简介

点击上图中的[CIFAR](torchvision.datasets — Torchvision 0.11.0 documentation (pytorch.org))，查看官方文档

可知其中参数的作用

• root 指定数据集的位置
• train 若为True，则创建的数据集为训练集，若为False，则创建的数据集为测试集
• transform 指定对数据集中数据的变化
• download 若为True，会从网上自动下载数据集，若为False，则不会下载

import torchvision

"""
 使用CIFAR10这个数据集,
 root="./dataset": 会在当前目录下创建dataset文件夹，同时把数据保存进去
 train=True:       这是一个训练集，为False, 则表明这是一个测试集
 download=True:    数据集会从网上下载
"""
train_set = torchvision.datasets.CIFAR10(root="./dataset", train=True, download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset", train=False, download=True)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OAFh9tRo-1643364257822)(C:\Users\14158\AppData\Roaming\Typora\typora-user-images\image-20220124194300511.png)]

【注】上面的蓝色网站就是下载地址，pycharm下载较慢的话可以复制用迅雷或者浏览器下载

与 Transforms 联动

使用tensorboard将图片显示出来：

import torchvision
from torch.utils.tensorboard import SummaryWriter

dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()       # 先将数据转换为tensor类型，可以在后面添加各种操作
])

"""
 使用CIFAR10这个数据集,
 root="./dataset": 会在当前目录下创建dataset文件夹，同时把数据保存进去
 train=True:       这是一个训练集，为False, 则表明这是一个测试集
 transform=dataset_transform: 对数据进行变换
 download=True:    数据集会从网上下载,设置为True就行了
"""
train_set = torchvision.datasets.CIFAR10(root="./dataset", train=True, transform=dataset_transform, download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset", train=False, transform=dataset_transform, download=True)

writer = SummaryWriter("dataset_transforms_logs")
for i in range(10):
    img, target = test_set[i]       # 由数据集的形式，第一个属性是img，第二个属性是下标(target)
    writer.add_image("test_set", img, i)

然后再终端输入: tensorboard --logdir=dataset_transforms_logs

进入网页，调节setp，可以看到不同的图片：

【注】手动查看下载地址

：按住CTRL，鼠标左键点击数据集的：

往上翻，找到url