李宏毅机器学习笔记Day2—回归

Regression（回归）的步骤看似比较复杂，其实也就是上节课老师所讲的三步：引入一组model ➡️评估这组model 的好坏 ➡️得到最佳的function。

老师引入了一个很有趣的例子：选择培养宝可梦。
找一个function，输入一只宝可梦的信息，预测它的CP（战斗力）的值。
一、 初始的方法

1. Model
   线性Model：y=b+w•x_cp，w和b是参数，x_cp是进化前的CP值。
   
   Training Data:十只宝可梦的前后CP值，是真实的值。
   Loss function:用来衡量w和b的好坏，红色划线的部分是估测值，用真实值减去估测值的平方再累加，可以得到我们的L（w,b）。
   
2. Goodness of function f
   Goodness of function f：也就是最小的L(w,b)，我们需要用到Gradient Descent 来得到。
   
3. Best function
   Gradient Descent:不断地求微分，如果微分不为0，更新数值，直到得到最小值，其中η是确定好的，叫做learning rate。二元则是求偏微分。
   
   不断地趋向最小的L(w,b)。
   
   Testing data:另外十只宝可梦的数据，这是我们真正想要考虑的。
   
   但是由图片我们可以看出，这样的error 很大，可以引入二次式，三次式，四次式…找到更加复杂合适的model，但是不一定越复杂的function所得到的model就越合适，这时会产生overfitting，我们再找更加适合的model。
   
   二、 改进方法
4. Model
   重新设置参数，可以得到新的model。
   它们的Training Data 和Testing Data的average error 可以用曲线表示。
   
   但是十只宝可梦太少了，实际需要收集的信息远远比十只要多，我们收集更加多只的宝可梦信息之后，发现其CP值与其物种有关，这不同物种的宝可梦做得到的曲线并不相同。
   
   所以，我们需要再重新考虑一下model，不同物种的宝可梦的参数值不一样。其中还有许多隐藏的因素影响着error，比如体重，身高，HP值等，重新又考虑model，引入新的参数。
   
   2.Goodness of function f
   接下来对Loss Function进行重新设计，所用到的方法是Regularization。加入一项参数，有越小的w_i的function越好，function越平滑越好，因为当我们输入加上Δx_i，那么输出就会加w_ix_i，所以考虑到如果当我们在输入的时候有其他杂事发生，越光滑的function所受的影响越小。
   
   3.Best function
   将λ从0取到100000，Training error越来越大，因为当λ的值越大，所考虑的w_i就越少。并且Testing Data的error并没有越来越小，我们需要选择最小的error来得到λ的值，从而得到best function。由图可得，当λ=100时，可以得到我们的best function。