Pytorch教程[02]DataLoader与Dataset

机器学习模型训练步骤

一.DataLoader

torch.utils.data.DataLoader()

功能：构建可迭代的数据装载器
• dataset: Dataset类，决定数据从哪读取
及如何读取
• batchsize : 批大小
• num_works: 是否多进程读取数据
• shuffle: 每个epoch是否乱序
• drop_last：当样本数不能被batchsize整除时，是否舍弃最后一批数据

DataLoader( dataset,
			batch_size=1,
			shuffle=False,
			sampler=None,
			batch_sampler=None,
			num_workers=0,
			collate_fn=None,
			pin_memory=False,
			drop_last=False,
			timeout=0,
			worker_init_fn=None,
			multiprocessing_context=None)

---

[Epoch、Epoch、Batch]三者之间的关系

• Epoch: 所有训练样本都已输入到模型中，称为一个Epoch
• Iteration：一批样本输入到模型中，称之为一个Iteration
• Batchsize：批大小，决定一个Epoch有多少个Iteration

例：
样本总数：80， Batchsize：8
1 Epoch = 10 Iteration

样本总数：87， Batchsize：8
1 Epoch = 10 Iteration ？ drop_last = True
1 Epoch = 11 Iteration ？ drop_last = False

二、Dataset

torch.utils.data.Dataset()

功能：Dataset抽象类，所有自定义的
Dataset需要继承它，并且复写

__getitem__()
getitem #接收一个索引，返回一个样本

class Dataset(object):

	def __getitem__(self, index):
		raise NotImplementedError
		
	def __add__(self, other):
		return ConcatDataset([self, other])