这次打卡的是模型训练与验证。
首先,构建训练集、验证集和测试集。
一般来说,划定验证集有留出法、交叉验证法、自助采样法,当数据量比较大时,会采用留出法,数据量不那么大时,会采样交叉验证法。
一般我采用的是留出法。
这次比赛已经划分了验证集,所以只需要用训练集训练并用验证集验证精度就好了。
我们现在用代码尝试一下。
import torch.nn as nn
from torch.utils.data.dataset import Dataset
train_loader = torch.utils.data.DataLoader(
# train_dataset,
batch_size=10,
shuffle=True,
num_workers=10,
)
val_loader = torch.utils.data.DataLoader(
# val_dataset,
batch_size=10,
shuffle=False,
num_workers=10,
)
model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False)
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
print('Epoch: ', epoch)
train(train_loader, model, criterion, optimizer, epoch)
val_loss = validate(val_loader, model, criterion)
if val_loss < best_loss:
best_loss = val_loss
torch.save(model.state_dict(), './model.pt')
单个Epoch的训练代码是
def train(train_loader, model, criterion, optimizer, epoch):
# 切换模型为训练模式
model.train()
for i, (input, target) in enumerate(train_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
optimizer.zero_grad()
loss.backward()
optimizer.step()
同理,写出验证代码。
最后,对模型进行保存。
torch.save(model_object.state_dict(), 'model.pt')
model.load_state_dict(torch.load(' model.pt'))
今天的打卡就到这里了。