pytorch(5)——数据读取机制Dataloader与Dataset

一、数据模块
pytorch(5)——数据读取机制Dataloader与Dataset_第1张图片

1、torch.utils.data.DataLoader
pytorch(5)——数据读取机制Dataloader与Dataset_第2张图片
功能:构建可迭代的数据装载器
dataset:Dataset类,决定数据从哪读取及如何读取
batchsize:批大小
num_works:是否多进程读取数据
shuffle:每个epoch是否乱序
drop_last:当样本数不能被batchsize整除时,是否舍弃最后一批数据
2、关系:
Epoch:所有训练样本都已输入到模型中一次,称为一个Epoch
iteration:一批样本输入到模型中一次,称之为iteration
Batchsize:批大小,决定一个Epoch有多少个iteration
举例:
样本总数:80,batchsize:8
1Epoch=10iteration
3、torch.utils.data.Dataset

pytorch(5)——数据读取机制Dataloader与Dataset_第3张图片
功能:Dataset抽象类,所有自定义的Dataset需要继承它,并且复写__getitem__()
getitem:接收一个索引,返回一个样本
二、Dataloader与Dataset
pytorch(5)——数据读取机制Dataloader与Dataset_第4张图片
数据读取流程图:
pytorch(5)——数据读取机制Dataloader与Dataset_第5张图片

你可能感兴趣的:(pytorch(5)——数据读取机制Dataloader与Dataset)