第一周 机器学习(ML)策略(1):1.12 改善模型表现

转载http://www.shareblogs.top/2089/

目录

第一章、简介

第二章、改善模型表现

2.1、减小可避免偏差和方差的概述

2.2、减小可避免偏差的方法

2.3、减小方差的方法

2.4、小结


第一章、简介

 

  • 本文基于吴恩达人工智能课程做学习笔记、并融入自己的见解(若打不开请复制到浏览器中打开)https://study.163.com/courses-search?keyword=吴恩达。
  • 本文第二章将 介绍改善模型表现。

 

第二章、改善模型表现

 

2.1、减小可避免偏差和方差的概述

 

  • 我们学过正交化,学过如何设立开发集和测试集,学过用人类水平错误率来估计贝叶斯错误率,学过如何估计可避免偏差和方差等等内容。
  • 我们现在把这些内容全部组合起来写成一套指导方针——如何提高学习算法性能的指导方针。
  • 所以我想要让一个监督学习算法达到实用,假设你可以完成两件事情,首先 你的算法对训练集的拟合很好,这可以看成是你能做到可避免偏差很低。
  • 还有第二件事你可以做好的是在训练集中做得很好,然后推广到开发集和测试集也很好,这就是说方差不是太大。
  • 在正交化原理帮助下,可以修正可避免偏差问题,比如训练更大的网络 或者训练更久
  • 还有一套独立的技巧可以用来处理方差问题,比如正则化或者收集更多训练数据

 

2.2、减小可避免偏差的方法

 

  • 总结一下前几段视频我们见到的步骤,如果你想提升机器学习系统的性能,我建议你们看看训练错误率和贝叶斯错误率估计值之间的距离。让你知道可避免偏差有多大。换句话说,就是你觉得还能做多好,你对训练集的优化还有多少空间。
  • 然后看看你的开发错误率和训练错误率之间的距离,就知道你的方差问题有多大。换句话说,你应该做多少努力,让你的算法表现能够从训练集推广到开发集,算法是没有在开发集上训练的。
  • 如果你想用尽一切办法减少可避免偏差,我建议试试这样的策略——比如使用规模更大的模型,这样算法在训练集上的表现会更好。
  • 或者训练更久,或者使用更好的优化算法,比如说,加入 momentum 或者 RMSprop,或者使用更好的算法 比如 Adam,你还可以试试,寻找更好的新神经网络架构,或者说更好的超参数。
  • 这些手段包罗万像,你可以改变激活函数,改变层数或者隐藏单位数,虽然你这么做可能会让模型规模变大,或者试用其他模型、其他架构,如循环神经网络和卷积神经网络,在之后的课程里我们会详细介绍的,新的神经网络架构能否更好地拟合你的训练集,有时也很难预先判断,但有时换架构可能会得到好得多的结果。

 

2.3、减小方差的方法

 

  • 另外当你发现方差是个问题时,你可以试用很多技巧包括以下这些,你可以收集更多数据——因为收集更多数据去训练,可以帮你更好地推广到系统看不到的开发集数据。
  • 你可以尝试正则化,包括 L2 正则化、Dropout 正则化,或者我们在之前课程中提到的数据增强。
  • 同时你也可以试用不同的神经网络架构,超参数搜索,看看能不能帮助你,找到一个更适合你的问题的神经网络架构。
  • 我想这些偏差、可避免偏差和方差的概念,是容易上手、难以精通的,如果你能系统全面地应用本周课程里的概念,你实际上会比很多现有的机器学习团队,更有效率、更系统‘’更有策略地系统提高机器学习系统的性能。
  • 所以本周的作业中,你们可以练习一下,更深入地理解这些概念,祝你们好运,我希望下周的视频中再见到你们。

 

2.4、小结

       我把减小可避免偏差和方差的方法,做了一个汇总。这个汇总,也就以后我们优化目标函数的偏差/方差的总指导思想

第一周 机器学习(ML)策略(1):1.12 改善模型表现_第1张图片

你可能感兴趣的:(吴恩达AI课堂)