模型调参及优化

调参

• 调权重参数，偏置参数

  训练数据集用来训练参数w，b

• 调超参数

  验证数据集用来选择超参数学习率lr，隐藏层大小等

• 如何调参

  
  当泛化误差和训练误差都没有降下去说明欠拟合；当训练误差降下去，但泛化误差出现上升形式，说明过拟合

优化

• 权重衰退

  在过拟合时，可以使用权重衰退，每次更新参数W_t+1时都会先将W_t减小，梯度计算如下
  参数更新如下
  

  使用torch框架可以简洁实现权重衰退，wd就是上述的ʎ：
  

• 丢弃法

  丢弃法相当于在输入中加入噪音，且输入的期望（期望是所有元素出现概率乘以元素值值之和）不变，公式如下
  
  在过拟合时可以使用丢弃法，常用于多层感知机的隐藏层输出，将输出的某些元素随机设为0，剩下元素放大，丢失法通常在每层的激活函数之后使用，丢弃法和权重衰退都是正则项，用于权重的变化，所以只在训练中使用，不用于测试。丢弃法是多层感知机中主流的一种正则化方法，高复杂模型+丢弃法效果一般比低复杂模型效果好一些。torch的简洁实现如下