Machine Learning ---Regression（回归）

准备工作：（以预测宝可梦的CP值为例：下表表示component，上标表示完整object编号）

Step1：Model

 

Step2：Goodness of Function（函数的拟合优度）

scalar（标量）

（1）展示结果：

 

 （2）：获取Training Data：

（3）通过Training Data辨别一个function好坏 

Loss function L（损失函数：衡量一组参数的好坏（本例中就是w和b的好坏））:是function的function，Input：a function ，output：how bad it is

 

 

 

Step 3：Gradient Descent （梯度下降）

η is called “learning rate“

 1.一个参数：

 2.两个参数 

 

 

 注意：担心（出现局部最优）

但是在线性回归中无局部最优（重要）

 

我们还可以去寻找更好的Model(但是也有可能变得更糟糕)

更好：

在训练集更好但是在test上糟糕：

原因解释：（越复杂的model黑我们越好的traning data）

 4.过拟合：越复杂的model不总是能让testing data更好的表现

所以要选择合适的model（本例就是选择第三种模型）

 简化5.有可能存在其他因素的影响

本例而言可能是物种

（1）Back to step 1：Redesign the Model

简化：

结论：

 所以我们可以考虑更多：但是可能导致过拟合了，所以我们可以在减少因素

 Back to step2：Regularization（正则化）：重新找Loss Function：防止过拟合，让他更平滑，不会因为噪声的影响很大（参考：一篇文章完全搞懂正则化（Regularization）_见见大魔王的博客-CSDN博客_正则化）