1、验证集的构造
在数据挖掘竞赛中一般给出的数据有两种,一种是直接给出训练集、验证集和测试集,另一种是只给出训练集和测试机,就需要我们自己来划分验证机。
为什么要划分验证集呢?
因为在数据分析过程中,模型如果只利用训练集进行训练,就很有可能导致过拟合,也就是说模型对训练集的分布及细节学习的很到位,导致对于从没有见过的测试集就比较差,故模型的泛化能力就很差。为了解决该问题,需要构建一个与测试集具有大体相同分布和细节的数据集,降低模型过拟合,提高模型泛化能力,该数据集称为验证集。
常用验证集的构造方法
(1)留出法(Hold-Out)
直接将训练集划分为两部分,新的训练集和验证集,这种划分方式的优点是最为直接简单;缺点是只得到了一份验证集,有可能导致模型在验证集上过拟合。留出法应用场景是数据量比较大的情况。
(2)交叉验证法(Cross Validation,CV)
将训练集划分成K份,将其中的K-1份作为训练集,剩余的1份作为验证集,循环K训练。这种划分方式是所有的训练集都是验证集,最终模型验证精度是K份平均得到。这种方式的优点是验证集精度比较可靠,训练K次可以得到K个有多样性差异的模型;CV验证的缺点是需要训练K次,不适合数据量很大的情况。
(3)自助采样法(BootStrap)
通过有放回的采样方式得到新的训练集和验证集,每次的训练集和验证集都是有区别的。这种划分方式一般适用于数据量较小的情况
当然这些划分方法是从数据划分方式的角度来讲的,在现有的数据比赛中一般采用的划分方法是留出法和交叉验证法。如果数据量比较大,留出法还是比较合适的。当然任何的验证集的划分得到的验证集都是要保证训练集-验证集-测试集的分布是一致的,所以如果不管划分何种的划分方式都是需要注意的。
这里的分布一般指的是与标签相关的统计分布,比如在分类任务中“分布”指的是标签的类别分布,训练集-验证集-测试集的类别分布情况应该大体一致;如果标签是带有时序信息,则验证集和测试集的时间间隔应该保持一致。
2.模型训练与验证
逻辑结构如下:
构造训练集和验证集;
每轮进行训练和验证,并根据最优验证集精度保存模型。
import torch.nn as nn
from torch.utils.data.dataset import Dataset
# class SVHN_Model1(nn.Module):
# def __init__(self):
# super(SVHN_Model1, self).__init__()
# model_conv = models.resnet18(pretrained=True)
# model_conv.avgpool = nn.AdaptiveAvgPool2d(1)
# model_conv = nn.Sequential(*list(model_conv.children())[:-1])
# self.cnn = model_conv
# self.fc1 = nn.Linear(512, 11)
# self.fc2 = nn.Linear(512, 11)
# self.fc3 = nn.Linear(512, 11)
# self.fc4 = nn.Linear(512, 11)
# self.fc5 = nn.Linear(512, 11)
# def forward(self, img):
# feat = self.cnn(img)
# # print(feat.shape)
# feat = feat.view(feat.shape[0], -1)
# c1 = self.fc1(feat)
# c2 = self.fc2(feat)
# c3 = self.fc3(feat)
# c4 = self.fc4(feat)
# c5 = self.fc5(feat)
# return c1, c2, c3, c4, c5
train_loader = torch.utils.data.DataLoader(
# train_dataset,
batch_size=10,
shuffle=True,
num_workers=10,
)
val_loader = torch.utils.data.DataLoader(
# val_dataset,
batch_size=10,
shuffle=False,
num_workers=10,
)
model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False)
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
print('Epoch: ', epoch)
train(train_loader, model, criterion, optimizer, epoch)
val_loss = validate(val_loader, model, criterion)
# 记录下验证集精度
if val_loss < best_loss:
best_loss = val_loss
torch.save(model.state_dict(), './model.pt')
其中每个Epoch的训练代码如下:
def train(train_loader, model, criterion, optimizer, epoch):
# 切换模型为训练模式
model.train()
for i, (input, target) in enumerate(train_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
optimizer.zero_grad()
loss.backward()
optimizer.step()
其中每个Epoch的验证代码如下:
def validate(val_loader, model, criterion):
# 切换模型为预测模型
model.eval()
val_loss = []
# 不记录模型梯度信息
with torch.no_grad():
for i, (input, target) in enumerate(val_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
val_loss.append(loss.item())
return np.mean(val_loss)
3、模型保存与加载
torch.save(model_object.state_dict(), 'model.pt')
model.load_state_dict(torch.load(' model.pt'))
4、模型调参流程
深度学习有众多的训练技巧,比较推荐的阅读链接有:
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
http://karpathy.github.io/2019/04/25/recipe/
本节挑选了常见的一些技巧来讲解,并针对本次赛题进行具体分析。与传统的机器学习模型不同,深度学习模型的精度与模型的复杂度、数据量、正则化、数据扩增等因素直接相关。所以当深度学习模型处于不同的阶段(欠拟合、过拟合和完美拟合)的情况下,大家可以知道可以什么角度来继续优化模型。
在参加本次比赛的过程中,我建议大家以如下逻辑完成:
(1)初步构建简单的CNN模型,不用特别复杂,跑通训练、验证和预测的流程;
(2)简单CNN模型的损失会比较大,尝试增加模型复杂度,并观察验证集精度;
(3)在增加模型复杂度的同时增加数据扩增方法,直至验证集精度不变。