《基础知识》梯度更新和防止过拟合

《基础知识》梯度更新和防止过拟合

      • 导数(derivate)
      • 偏导数(partial derivate)
      • 梯度
      • 极小值
      • 影响优化器表现的因素
        • 局部最小值(local minima)
        • 鞍点(saddle point)
        • 初始值(initialization status)
        • 学习率(learning rate)
        • 动量(momentum)
      • 降低过拟合(reduce overfitting)
        • 扩大数据(more data)
        • 限制模型复杂度
          • 减少模型层数(shallow)

你可能感兴趣的:(NLP,过拟合,梯度更新,权重衰减,正则化)