torch.utils.data.dataloader.DataLoaderIter 无法导入问题

torch提供的DataLoader可以提供一个可迭代对象iterable object(注意不是迭代器,iterator),利用python本身良好的生态环境,实现简洁、节省内存资源的数据读取。而DataLoader只是一个iterable object,只能像python list一样用for循环去取,不能像iterator一样,可以使用next方法,在一些场景下缺乏灵活性。
可能就是因为上述原因,torch在历史某个版本使用了DataLoaderIter对象。
这两个clas的具体使用以及其源码解读参考:
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)

为了说明哪些场合可能需要用到DataLoaderIter,下面举个例子
例如:

import torch
from torch.utils.data import RandomSampler,DataLoader
from utils.dataloader_iter import DataLoaderIter

class myDataset(torch.utils.data.Dataset):
    ''' create my own torch Dataset
    implement torch.utils.data.Dataset
    '''
    def __init__(self, dataSource):
        '''
        :param dataSource: iterable object like list
        datasource means a list contain all data sample
        e.g. [obj1,obj2...]
        '''
        self.dataSource = dataSource

    def __getitem__(self,index):
        element = self.dataSource[index]
        return element
    def __len__(self):
        return len(self.dataSource)

template = [{"1":"so elegant","2":2,"3":3},{"1":1,"2":2,"3":3}]
dataset=myDataset(template)
sampler = RandomSampler(dataset)
train_loader = DataLoader(dataset=dataset, batch_size=1,sampler=sampler)
for t in train_loader:
   print(t)
   break

for t in train_loader:
   print(t)
   break

实现上面我自定义了myDataset class继承Dataset,然后构造简单的Dataloader,一般而言for循环已经可以支持大部分实验,但是可以看到train_loader在每次for循环的时候index都会被重置:
在这里插入图片描述
DataLoaderIter作为DataLoader的又一层封装,就可以实现iterator的特性,即用next取,同时保留index:

dataIter=DataLoaderIter(train_loader)
print(dataIter.next())
print(dataIter.next())

在这里插入图片描述

但是DataLoaderIter在很早的版本就被torch取消了:
torch.utils.data.dataloader.DataLoaderIter 无法导入问题_第1张图片
所以如果想要使用DataLoaderIter得自己取0.3.1的源码copy到自己的file里面
torch 0.3.1 doc

参考资料:

torch 0.3.1 doc
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)
Error with _DataLoaderIter in torch.utils.data.dataloader

你可能感兴趣的:(深度学习,python,torch,pytorch)