机器学习 第二讲 Linear Regression

    本讲主要是根据宝可梦的cp值预测，期待的输出是一个数值，所以这是一个Regression的learn。由上一讲可知，Linear是指linear model，是function set 的类型。

    根据需求，

    根据需求，先按照上述步骤进行讲述。

一. 寻找suitable function

    1. 先设定function set 是一个一次函数，到这里已经完成第一步。

        linear model : 

            b : bias

            w : weigth

            在后续分析错误时，这些名称会被用到

    2. 然后定义L(f) ——Loss function,该function用于判定function set中的函数的好坏

        L(f)：

    3. Gradient Descent

        使用偏微分的方法将L(f)的global minima 计算出来

二. 分析上述过程中会出现的各种问题

    1. how to deside the function set

        可以试多次，先从最简单的一次函数计算开始，逐步的将function的范围

    会发现越large的function set  会得到更好的train 结果，但是到了test data 就会出现不一样的结果。

    导致这个的结果我们称之为overfitting : a more complex model not lead to better performance on testint data

发生overfitting之后需要back to step 1 : Redesign the model , then step 2 Regularization : Redesign the Loss function

是一个常数，通过实验得到

在Loss function 中加上这个常数，目的就是将最后的output 比较不受 noise的影响，output更加平缓