Pytorch中使用Dataset和DataLoader构建数据集

1 专业术语

• epoch:One forward pass and one backward pass of all the training examples.
• batch-size:The number of training examples in one forward backward pass.
• iteration:Number of passes, each pass using [batch size] number of examples.

2 实现过程

2.1 准备数据集

from torch.utils.data import Dataset    #抽象类，不能实例化，只能被其他子类继承
from torch.utils.data import DataLoader #用来帮助加载数据

class DiabetesDataset(Dataset): #继承自Dataset
    def __init__(self,filepath):
        xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)
        self.len=xy.shape[0]   #获取数据集的个数
        self.x_data=torch.from_numpy(xy[:,:-1])
        self.y_data=torch.from_numpy(xy[:,[-1]])

    def __getitem__(self, index):#魔法方法，将来实例化后对象可以进行下标操作
        return self.x_data[index],self.y_data[index]    #返回的是元组

    def __len__(self):  #魔法方法，可以返回数据集的条数
        return self.len

dataset=DiabetesDataset('E:\深度学习\PyTorch深度学习实践\diabetes.csv.gz')
train_loader=DataLoader(dataset=dataset,
                        batch_size=32,
                        shuffle=True,
                        num_workers=2)  #num_workers是加载数据的线程数目

2.2 设计模型

#2.设计模型
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1=torch.nn.Linear(8,6)
        self.linear2=torch.nn.Linear(6,4)
        self.linear3=torch.nn.Linear(4,1)
        self.activate=torch.nn.Sigmoid()

    def forward(self,x):
        x=self.activate(self.linear1(x))
        x=self.activate(self.linear2(x))
        x=self.activate(self.linear3(x))
        return x

model=Model()

2.3 构建损失和优化器

#3.构建损失和优化器
criterion=torch.nn.BCELoss(reduction='mean')
optimizer=torch.optim.Adam(model.parameters(),lr=0.1)

2.4 训练循环

#windows里面多进程执行用的是spawn而不是fork，会发生runtimeerror
#所以需要将用loader迭代的代码封装起来，封装到if语句或者函数里面，防止程序执行多遍
if __name__=='__main__':
    for epoch in range(2):    #全部数据都跑一百遍
        for i,data in enumerate(train_loader,0):    #i获得当前迭代次数
            #1.准备数据
            inputs,labels=data
            #2.前向传播
            y_pred=model(inputs)
            loss=criterion(y_pred,labels)
            print('epoch:',epoch,'batch:',i,'loss=',loss.item())
            #3.后向传播
            optimizer.zero_grad()
            loss.backward()
            #4.更新
            optimizer.step()

3 运行结果