第二周、Dataset与Dataloader

这里写目录标题

  • 一、数据读取流程
  • 二、数据读取流程数据提取流程
  • 三、DataLoader
  • 四、Dataset
    • 二级目录
      • 三级目录

一、数据读取流程

第二周、Dataset与Dataloader_第1张图片

二、数据读取流程数据提取流程

读那些:Sampler输出的Index
从哪读:Dataset中的data_dir
读什么:Dataset中的getitem
第二周、Dataset与Dataloader_第2张图片

三、DataLoader

torch.utils.data.DataLoader
功能:构建可迭代的数据装载器
dataset: Dataset类,决定数据从哪读取及如何读取
batchsize :批大小
num_works:是否多进程读取数据
shuffle:每个epoch是否乱序
drop_ last:当样本数不能被batchsize整除时,
           是否舍弃最后一批数据

第二周、Dataset与Dataloader_第3张图片

Epoch:所有训练样本都已输入到模型中,称为一个Epoch
Iteration:一批样本输入到模型中,称之为一个Iteration
Batchsize:批大小,决定一个Epoch有多少个Iteration
样本总数: 80,Batchsize: 8
1 Epoch = 10 Iteration

样本总数: 87   Batchsize: 8
1 Epoch = 10 Iteration ? drop_last=True
1 Epoch = 11 Iteration ? drop_last=False

四、Dataset

torch.utils.data.Dataset
功能: Dataset抽象类,所有自定义的Dataset需要继承它并复写
_getitem_()
getitem :接收一个索引,返回一个样本

第二周、Dataset与Dataloader_第4张图片

二级目录

三级目录

你可能感兴趣的:(pytorch)