机器学习笔记_李宏毅_P3-Regression-case study

李宏毅老师的机器学习笔记

  • 例子
  • 步骤
    • 第一步:模型function sets
    • 第二步:寻找最好的函数
    • 第三步:算法
    • 结果
  • 总结

课程视频

例子

用Regression预测宝可梦进化后的CP值
机器学习笔记_李宏毅_P3-Regression-case study_第1张图片

步骤

第一步:模型function sets

机器学习笔记_李宏毅_P3-Regression-case study_第2张图片
寻找最合适的函数f,也就是寻找最合适的参数w,b

第二步:寻找最好的函数

训练数据: 10只宝可梦
机器学习笔记_李宏毅_P3-Regression-case study_第3张图片
最好的函数为:损失函数最小

机器学习笔记_李宏毅_P3-Regression-case study_第4张图片
如何使得损失函数最小?:随机梯度下降法
机器学习笔记_李宏毅_P3-Regression-case study_第5张图片
举例子说明什么是随机梯度下降法?如何计算?
假设只有一个参数w
机器学习笔记_李宏毅_P3-Regression-case study_第6张图片
机器学习笔记_李宏毅_P3-Regression-case study_第7张图片
机器学习笔记_李宏毅_P3-Regression-case study_第8张图片
假设只有两个参数w,b
机器学习笔记_李宏毅_P3-Regression-case study_第9张图片
考虑到一个问题:在linear model中,没有局部最优,所以可以放心的随机选取初始值w,b
机器学习笔记_李宏毅_P3-Regression-case study_第10张图片

第三步:算法

机器学习笔记_李宏毅_P3-Regression-case study_第11张图片

结果

训练误差
机器学习笔记_李宏毅_P3-Regression-case study_第12张图片

测试误差
机器学习笔记_李宏毅_P3-Regression-case study_第13张图片
看上图可能会觉得拟合不是很好,会想到增加项来使得拟合更好?
机器学习笔记_李宏毅_P3-Regression-case study_第14张图片
机器学习笔记_李宏毅_P3-Regression-case study_第15张图片
可以看到随着增加项,训练误差和测试误差都在递减,那么继续增加
机器学习笔记_李宏毅_P3-Regression-case study_第16张图片
机器学习笔记_李宏毅_P3-Regression-case study_第17张图片
可以看到继续增加项,模型越来越复杂,训练误差在递减,但是测试误差反而增大了,也就是过拟合
机器学习笔记_李宏毅_P3-Regression-case study_第18张图片


上述例子中输入只有宝可梦的原始CP值,假设输入涉及更多的属性呢?

机器学习笔记_李宏毅_P3-Regression-case study_第19张图片
那么又要返回第一步重新设计模型,但模型太复杂,会产生过拟合
机器学习笔记_李宏毅_P3-Regression-case study_第20张图片
如何解决过拟合的问题呢?引入正则化
机器学习笔记_李宏毅_P3-Regression-case study_第21张图片
最后的结果如图,我们可以选择 = 100
机器学习笔记_李宏毅_P3-Regression-case study_第22张图片

总结

  • 构造模型

  • 利用损失函数去判断模型的好坏

  • 用梯度下降法去获得使函数最好的参数

  • 模型越复杂,训练误差越小,但是会导致过拟合

  • 考虑其他特征因素,重新构造模型,容易产生过拟合

  • 使用正则化来解决过拟合:弱化权重系数,使得函数更加平滑

宝可梦数据

作业地址

Kaggle比赛地址

机器学习笔记_李宏毅_P4-Basic Concept_error的来源
作业范例

你可能感兴趣的:(李宏毅-深度学习-笔记,机器学习,深度学习)