刘二大人第8讲 加载数据集 源代码

刘二大人第8讲 加载数据集 源代码
说明：1、DataSet 是抽象类，不能实例化对象，主要是用于构造我们的数据集

2、DataLoader 需要获取DataSet提供的索引[i]和len;用来帮助我们加载数据，比如说做shuffle(提高数据集的随机性)，batch_size,能拿出Mini-Batch进行训练。它帮我们自动完成这些工作。DataLoader可实例化对象。DataLoader is a class to help us loading data in Pytorch.

3、__getitem__目的是为支持下标(索引)操作
4、用到数据的下载：

https://gitee.com/biabianm/pima-indians-diabetes/tree/master

源代码:

#刘二老师 p8
import torch
from torch.utils.data import DataLoader
from torch.utils.data import Dataset
import numpy as np

#1.加载数据集
class DiabetesDataset(Dataset):
    def __init__(self,filepath):
        xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32)
        self.len=xy.shape[0]
        self.x_data=torch.from_numpy(xy[:,:-1])#把数组转成张量
        self.y_data=torch.from_numpy(xy[:,[-1]])

    def __getitem__(self, item):
        return self.x_data[item],self.y_data[item]

    def __len__(self):
        return self.len


dataset=DiabetesDataset('diabetes1.csv')
train_loader=DataLoader(dataset,batch_size=32,shuffle=True,num_workers=0)#num_workers多线程


#2.设计模型
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1=torch.nn.Linear(8,6)
        self.linear2=torch.nn.Linear(6,4)
        self.linear3=torch.nn.Linear(4,1)
        self.sigmoid=torch.nn.Sigmoid()

    def forward(self,x):
        x=self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model=Model()
#3.构造损失函数和优化器
criterion=torch.nn.BCELoss(reduction='mean')
optimizer=torch.optim.SGD(model.parameters(),lr=0.01) # SGD 就是随机梯度下降
#4.写训练周期（前馈，反馈，更新）
if __name__=='__main__':
    for epoch in range(1000):
        for i,data in enumerate(train_loader,0):#0表示从下标0开始
            inputs,label=data
            y_pred=model(inputs)
            loss=criterion(y_pred,label)
            print('epoch:',epoch,',i:',i,',loss:',loss.item())

            optimizer.zero_grad()
            loss.backward()
            optimizer.step()