李宏毅机器学习Day01之回归

参与了datawhale组队学习，李宏毅老师机器学习课程学习打卡
课程资料：https://www.bilibili.com/video/BV1Ht411g7Ef?p=1&vd_source=618ecf41cffc71dcd77f42f4c37554fe
课程笔记资料：https://linklearner.com/datawhale-homepage/#/learn/detail/93

回归定义

Regression 就是找到一个函数 functionfunction ，通过输入特征 xx，输出一个数值 ScalarScalar。

模型步骤

step1：模型假设，选择模型框架（线性模型）
step2：模型评估，如何判断众多模型的好坏（损失函数）
step3：模型优化，如何筛选最优的模型（梯度下降）

Step 1：模型假设 - 线性模型

Step 2：模型评估 - 损失函数

如何判断众多模型的好坏

有了这些真实的数据，那我们怎么衡量模型的好坏呢？从数学的角度来讲，我们使用距离。求【进化后的CP值】与【模型预测的CP值】差，来判定模型的好坏。也就是使用损失函数（Loss function） 来衡量模型的好坏

Step 3：最佳模型 - 梯度下降

如何筛选最优的模型（参数w，b）

![在这里插入图片描述](https://img-blog.csdnimg.cn/9f775899d49d47e39e1bf712a2febb42.png

对于两个参数的模型：

梯度下降缺点：陷入局部最优

如何验证训练好的模型的好坏

1元N次线性模型，模型越复杂，在训练集上误差越小，但在测试集上误差不降反增，出现过拟合的现象

针对过拟合问题的优化方法

Step1优化：2个input的四个线性模型是合并到一个线性模型中

Step2优化：如果希望模型更强大表现更好（更多参数，更多input）

Step3优化：加入正则化

理解：

• w 越小，表示 functionfunction 较平滑的， functionfunction输出值与输入值相差不大
• 在很多应用场景中，并不是 ww 越小模型越平滑越好，但是经验值告诉我们 ww 越小大部分情况下都是好的。
• bb 的值接近于0 ，对曲线平滑是没有影响