Datawhale 李宏毅机器学习 Task3

1. 误差从哪里来？

Error 的来源

• Bias : 偏差
• variance : 方差
• 噪声

偏差(Bias)和方差(Variance)——机器学习中的模型选择

估测

• 评估 x 的偏差
• 评估 x 的方差

为什么会有很多的模型？

不同的数据集

• 考虑不同模型的方差

简单模型：方差较小；复杂模型：方差较大（简单模型受到不同训练集影响较小）

• 考虑不同模型的偏差

简单模型：偏差较大；复杂模型：偏差较小（简单模型函数集的space小，可能不包含）

偏差 VS 方差

• 偏差较大（模型简单）： 欠拟合

解决方案：
此时应该重新设计模型。因为之前的函数集里面可能根本没有包含f，可以：将更多的函数加进去，比如考虑高度重量，或者HP值等等。 或者考虑更多次幂、更复杂的模型。

• 方差较大（模型复杂）： 过拟合

解决方案：
简单粗暴的方法：更多的数据，或者数据增强。

模型选择

• 交叉验证
• K折交叉验证
  

2. 梯度下降法

调整学习率

• 自适应调整学习率
• Adagrad 算法

随机梯度下降法

特征缩放

常用方法： 减去平均值，再除以标准差