机器学习笔记_李宏毅_P4-Basic Concept_error的来源

李宏毅老师的机器学习笔记

  • error 的来源
      • Bia和Variance如图
  • 总结

课程视频

error 的来源

  • Bias
  • Variance

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第1张图片

Bia和Variance如图

个人理解:Bias就像是是偏离目标;Variance就像是在目标周围发散

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第2张图片

Variance很大会导致Overfitting:模型太复杂,预测效果差
Bias很大会导致Underfitting:训练效果差

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第3张图片

什么是Underfitting?

在这里插入图片描述

以及如何处理?

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第4张图片

什么是Overrfitting?

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第5张图片

以及如何处理?

机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第6张图片

如何同时处理Bias和Variance

  • Cross Validation
    机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第7张图片
  • N-fold Cross Validation
    机器学习笔记_李宏毅_P4-Basic Concept_error的来源_第8张图片

总结

  • 误差的来源
    Bias: 离目标越远,偏差越大
    Variance:点越发散,方差越大
  • 模型是函数集,最好的函数也只能从模型中选取
    简单模型:空间比较小,可能没包含目标函数,所以无论怎么选,都选不到目标 bais大
    复杂模型:空间很大,包含了目标函数,但是太多函数,可能找不到目标 variance大
  • 如果模型没办法fit训练样本,代表bias大,underfitting了
    如果训练误差很小,测试误差很大,代表variance大,overfitting了

机器学习笔记_李宏毅_P5-P7_Gradient Descent

你可能感兴趣的:(李宏毅-深度学习-笔记,深度学习,机器学习)