PDF	VIDEO

[机器学习入门]李宏毅机器学习笔记-2（Regression：Case Study；回归：案例研究）

PDF	VIDEO

Regression-pokemons

正如我们在笔记一中提到的，Regression可以做很多事情。比如Stock Market Forecast、Self-driving Car、Recommendation等等，但是李老师用有趣的案例——预测宝可梦（pokemons）进化后过的CP值（战斗力），来讲解什么是Regression。

如上面图中所示，我们的目标是在函数‘f'中，input一只宝可梦，output他进化后的cp值。
那么寻找这个函数f就成了问题的关键。

Step1 Model

建立模型，比如我们就在这里建立一个Linear model：

y = b + w * x
它是infinite的……
可能为f1: y = 10.0 + 9.0 ∙ x
可能为f2: y = 9.8 + 9.2 ∙ x
可能为f3: y = - 0.8 - 1.2 ∙ x
……

可见，不同的b、w，得到的f不尽相同，而下面，我们就要找到最能契合要求的一个f。

Step2 Goodness of function

Loss function L
input	a function
output	how bad it is

可以看到，当我们将准备好的training data（已知10个宝可梦的进化情况），建立一个二维坐标轴。

[机器学习入门]李宏毅机器学习笔记-2（Regression：Case Study；回归：案例研究）_第1张图片

这里写图片描述

通过上图可以看出，似乎有一个函数能够拟合这些坐标点，而这就是我们想要的，为了选出最契合的f，我们要建立一个Loss function L，也就是函数的函数。

Loss function L
input	a function
output	how bad it is

、
如果我们将f的w和b作为两轴，则在下图中每一点都代表一个function f，而颜色代表output的大小，也就代表该function f参数的好坏。易理解，smallest点做对应的函数f就是我们想要的。

[机器学习入门]李宏毅机器学习笔记-2（Regression：Case Study；回归：案例研究）_第2张图片

这里写图片描述

Step 3Best Function

我们刚刚提到最拟合的f，他可能是y = 0.6x +0.8，这个就叫做best function，那么我们该用什么方法在Loss Function下找到它呢？这个L(w，b）smallest该如何计算呢？
首先容易想到的，在本案例中，我们可以用线性代数的基本公式来直接计算出最佳w和b。

[机器学习入门]李宏毅机器学习笔记-2（Regression：Case Study；回归：案例研究）_第3张图片

这里写图片描述

除了这种方法，当特征值非常多时，我们就要用到梯度下降法来进行计算。

[机器学习入门]李宏毅机器学习笔记-2（Regression：Case Study；回归：案例研究）_第4张图片

这里写图片描述

当我们在L（w）的二维平面中时，我们必须要找到函数的最低点。
首先随机选取一个点w0，计算微分也就是斜率，如果为正，则增加w，如果为负，则减少w。
而这有另一个问题，每次要增加或减少多少w值呢，有两个因素影响。第一，即微分值，如果微分值很大或很小，表示此处非常陡峭，那么证明距离最低点还有很远的距离，所以移动的距离就很大。第二个因素是我们事先自主定义的常数项η值，即步长。