Dataset、Sampler和Dataloader

Dataset

处理数据,加载好,等待被读取

Dataloader

生成器,生成一个个batch的数据用来训练
传index给Dataset去get_item

Sampler

生成一个个batch的index供Dataloader去Dataset里加载数据

一开始数据加载好在GPU上了,在训练的过程中dataloader用index去加载一个个batch的数据来训练。

这篇知乎更详细地介绍了流程:
https://zhuanlan.zhihu.com/p/143216812.

你可能感兴趣的:(学习,人工智能,深度学习)