李宏毅机器学习视频part3-4

本篇文章主要基于以下材料：视频链接：P3视频：https://www.bilibili.com/video/BV1Ht411g7Ef?p=3     P4视频：https://www.bilibili.com/video/BV1Ht411g7Ef?p=4     开源文档：https://datawhalechina.github.io/leeml-notes

一、在确定自变量和损失函数后，回归问题的本质就变成了参数优化问题。

1.梯度下降优化法

（1）基本思想：

其中红色字体表示学习率，图片来源于 https://datawhalechina.github.io/leeml-notes

（2）主要挑战：梯度下降法可能只找到局部最优、saddle point、plateau，以及梯度下降的学习率怎么确定。

图片来源于 https://datawhalechina.github.io/leeml-notes

对于第一个挑战：在线性回归模型中，损失函数L是convex的，就意味着不存在local optimal，不管初始值是哪个点，找到的都是global optimal。

二、在确定模型时要提防过拟合问题

training error越小不一定越好，training error很小的模型对模型的拟合能力很强，但一定程度上会减弱模型的预测能力，也就是会导致test error比较大。因此在选择模型时，要同时考虑training error 和test error，选择一个平衡两者的模型。

三、模型优化

1.观察数据特征，是否可以分类进行回归，也就是数据是不是由多个回归模型组成

图片来源于https://datawhalechina.github.io/leeml-notes

2.加入更多的特征值（predictors）

可以通过画其他自变量跟因变量的散点图探索新的自变量

3.正则化

图片来源于 https://datawhalechina.github.io/leeml-notes

一般结论：w 越小，表示 function 较平滑的，function输出值与输入值相差不大。在很多应用场景中，并不是 w 越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的。b 的值接近于0 ，对曲线平滑是没有影响。

常见的正则化优化模型：ridge regression、lasso等。