Pytorch中的DataLoader, DataSet, Sampler

DataLoader: 数据的迭代器,数据是model直接可用的格式。分成一个个的batch。

DataSet : 根据索引,拿到数据后。对数据进行 自定义的处理。具体处理逻辑,通过 定义 collate_fn调用的函数实现。将一个batch的数据进行合并操作。

                本身还负责加载初始数据。

Sampler : 选取一部分 索引 。可自定义,可选择pytorch中已经实现的sampler。如果自定义了sampler,那么shuffle需要设置为False。

参考:https://cloud.tencent.com/developer/article/1486791

你可能感兴趣的:(Pytorch中的DataLoader, DataSet, Sampler)