模型调优方法

模型调优方法

      • 参数调整
      • 效果优化
        • 过拟合
        • 欠拟合
      • 权重分析
      • Bad-Case 分析

模型调优,首先应解决欠拟合问题,其次再解决过拟合问题。否则即便是过拟合控制得很好(训练精度与测试精度非常接近),但拟合程度却依然很低,达不到目的。

更主要的,是从数据的特征入手,好的特征工程决定预测结果的上限。

  • 参数调整

    主要调整模型中的超参数,例如学习速率等。
    可以使用 网格搜索 方法,或者修改模型结构。

  • 效果优化

    1. 过拟合

      ∙ \bullet 寻找更多的数据
      ∙ \bullet 增大正则项的强度
      ∙ \bullet 减小模型结构的复杂度
      ∙ \bullet 减少特征个数(不推荐)

    2. 欠拟合

      ∙ \bullet 减小正则项的系数
      ∙ \bullet 找更多的特征
      ∙ \bullet 寻找更多的数据
      ∙ \bullet 换更好的模型

  • 权重分析

    对权重绝对值高/低的特征做更精细工作,例如删除权重非常低得特征,保留权重高的特征;或可以将权重高得特征进行粒度细化,发掘其隐藏的特征。

  • Bad-Case 分析

    关注错误样本的相关信息:

    1. 哪些样本分错了
    2. 哪些特征促使模型做出此判断(权值高)
    3. 这些 bad-case 存在那些共性
    4. 是否有可以继续挖掘的特性
    5. 哪些样本预测结果与真实结果差距非常大,以及为什么。

你可能感兴趣的:(机器学习,(ML),深度学习,(DL))