[动手学深度学习(PyTorch)]——权重衰退(Weight decay)

权重衰退是一种解决过拟合的方式

  • 正则项:在训练参数化机器学习模型时, 权重衰减(weight decay)是最广泛使用的正则化的技术之一, 它通常也被称为L2正则化。 这项技术通过函数与零的距离来衡量函数的复杂度
  • 使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。 这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。 在实践中,这可能使它们对单个变量中的观测误差更为稳定。  

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第1张图片

惩罚项的加入,是得最优值向着原点方向靠近。。原来的最优点会受到罚值的影响。

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第2张图片 

参数更新法则:

因为λ的引入,使得每次更新权重参数时,先让原来的权重值先乘以一个小于1的正数(1-n-λ),再减去梯度的负方向

  • 正则项权重是控制模型复杂度的超参数

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第3张图片 

 代码实现:

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第4张图片

生成人工数据集:

n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)

 初始化参数:

def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]

L2范数惩罚项:

#定义 L2范数
def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2

#定义 L1范数惩罚
def l1_penalty(w):
    return torch.sum(torch.sum(w))

 定义训练代码:

代码将模型拟合训练数据集,并在测试数据集上进行评估。 从之前以来,线性网络和平方损失没有变化, 所以我们通过d2l.linregd2l.squared_loss导入它们。 唯一的变化是损失现在包括了惩罚项。

def train(lambd):
    w, b = init_params()
    net, loss = lambda X: d2l.linreg(X, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])
    for epoch in range(num_epochs):
        for X, y in train_iter:
            # 增加了L2范数惩罚项,
            # 广播机制使l2_penalty(w)成为一个长度为batch_size的向量
            l = loss(net(X), y) + lambd * l2_penalty(w)
            l.sum().backward()
            d2l.sgd([w, b], lr, batch_size)
        if (epoch + 1) % 5 == 0:
            animator.add(epoch + 1, (d2l.evaluate_loss(net, train_iter, loss),
                                     d2l.evaluate_loss(net, test_iter, loss)))
    print('w的L2范数是:', torch.norm(w).item())

忽略正则项直接训练:

 现在用lambd=0禁用权重衰减后运行这个代码。 注意,这里训练误差有了减少,但测试误差没有减少, 这意味着出现了严重的过拟合。

train(lambd=0)

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第5张图片

使用权重衰减:

train(lambd=3)

[动手学深度学习(PyTorch)]——权重衰退(Weight decay)_第6张图片 

你可能感兴趣的:(动手学深度学习,深度学习,pytorch,机器学习)