机器学习2.1-2.7——单变量线性回归

模型描述

例子

以监督学习中的线性回归为例

上图描述的是房屋尺寸和售价的关系。假如现在需要预测1250$fee{t}^2$的房子售价，该如何建立模型？
上图数据似乎具有明显的线性趋势，因此我们可以使用一条直线来预测其走向。

术语标记

符号	术语
x	变量,特征
y	函数值,输出值,目标变量
m	样本个数

流程简介

我们将训练集的数据传递给算法，然后根据算法生成的假设函数进行预测，即输入房屋面积x，得出价格y。
在这个例子中，如前文所述，我们使用一个一次函数模型来进行房价预测。所以假设函数形式规定如下：
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$

上图展示了y和$h_{\theta }$的关系，又因为$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$的关系，所以我们把这种模型称为线性回归。

代价函数

参数选择

不同的${\theta }_0$和不同的${\theta }_1$会直接影响拟合结果，下图展示了选择不同的${\theta }_0$和不同的${\theta }_1$时函数形态。

通过选择不同的${\theta }_0$和不同的${\theta }_1$使得拟合结果更为精确，即使得各个样本真实值y和估计值$h_{\theta }(x)$之间的差距较小，我们引入一个表达式来刻画这样的误差。
第i个样本的差距定义为：
$$\Delta J_i=(h_{\theta }i-y{)}^2$$
将其求和后即为样本的总误差，然后平均后即为样本的平均误差：
$$\Delta J=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }i-y{)}^2$$
因此，我们的目的就是使得$\Delta h$最小。而$\Delta J$又是关于${\theta }_0和{\theta }_1$的函数。且
$$h_{\theta }i(x)={\theta }_0+{\theta }_1{x}_i$$
故定义代价函数的一种，平方误差代价函数为：
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i{)}^2$$

近似处理——仅考虑斜率

我们先抛开截距不谈，仅仅只考虑斜率。即令${\theta }_0=0$, 观察${\theta }_1$的变化带来的影响。下图表示了${\theta }_1$分别取1，0.5，0时的情况：

不同的斜率的图像

平方误差代价函数具体值计算过程省略，这里展示J和${\theta }_1$的关系：

更多的J和${\theta }_1$的关系如下图所示：

加入截距的考虑

与近似处理不一样，现在我们来研究一个完整的假设函数，即$y=kx+b$。这里斜率仍为${\theta }_1$，截距为${\theta }_0$。我们的目的仍然是最小化平方误差代价函数。
由于现在的$J({\theta }_1,{\theta }_0)$是具有两个自变量的函数，因此，此时的$J({\theta }_1,{\theta }_0)$的函数图像有两个横轴，且图像整体为三维图像：

由于角度问题不好观察到函数最低点，因此我们选择使用等高图(contour plots)，以投影的形式展现不同的${\theta }_1$和${\theta }_0$所对应的函数值：
左图即为所取的假设函数与样本数据，右图各个椭圆上的点具有相同的J值， x 处为左图的假设函数的J值表示。

梯度下降

梯度下降的思想

实际上，梯度下降的方法可以从${\theta }_1$，${\theta }_2$，${\theta }_3$一直扩充到${\theta }_n$的n维，但为了方便起见，这里我们仍然只研究${\theta }_1$和${\theta }_0$。

1. 选取${\theta }_1$和${\theta }_0$的初值，一般从0，0开始。
2. 通过不断改变${\theta }_1$和${\theta }_0$的值以最快降低J，最终找到一个最小值点。该点的自变量坐标即为我们所要的最终参数。
   如图所示，从“山巅”某处出发，算法不断寻找最快“下山“的路径,直到找不到比所在处更低的点为止，即收敛于局部最低点:
   

但是假若出发点选取于不同的地方，最终的结果可能会有所不同：

梯度下降的算法实现

根据上面的指导思想，我们得出这两个赋值式子:
$${\theta }_0:={\theta }_0-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$$
$${\theta }_1:={\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}$$
这里的$\alpha$代表”下山“时步子迈的多大，称为学习率(learing rate)。学习率越大，代表下山的步子迈的越大，反之则越小。

同步更新

这里有一个细节要注意，${\theta }_1$和${\theta }_0$应该做到同步更新，如下图所示：

原因在于，如果按右图方式计算，那么第三部中的$J({\theta }_0,{\theta }_1)$中的${\theta }_0$就和初始的值不一样了，从而导致${\theta }_1$的变化也受到影响。而左图同步更新的方式更为自然（吴恩达原话）。

导数项的具体阐述

• $\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_n}$

这个问题我们不妨以单变量函数（${\theta }_1$为变量）来阐释，我们的目的是为了根据J值来调整${\theta }_1$。
假若起点所在处斜率为正，如下图所示：

那么$\frac{dJ({\theta }_1)}{\partial {\theta }_1}$即为正值，故 $新{\theta }_1=(原{\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1})<原{\theta }_1$，这导致${\theta }_1$向左移动，即最低点移动。
假若起点所在处斜率为负，如下图所示：

那么$\frac{dJ({\theta }_1)}{\partial {\theta }_1}$即为负值，故 $新{\theta }_1=(原{\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1})>原{\theta }_1$，这导致${\theta }_1$向右移动，即最低点移动。

• 学习率$\alpha$ (learing_rate)：
  先摆出式子：
  $${\theta }_1:={\theta }_1-\alpha \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}$$
  当$\alpha$较小时，迈的步子就会很小，会出现这种情况：
  
  由于每一步迈的很小，导致我们需要很多步才能最终到达最低点，梯度下降将会很慢
  当$\alpha$较大时，迈的步子就会很大，会出现这种情况：
  由于步子迈的过大，我们会一次次越过最低点，最终将导致难以收敛甚至发散。

事实上，理想的梯度下降过程，是即使我们保持$\alpha$不变，点最终也会趋于最低点。如下图所示，当我们每走一步时，所到的新地方一定是越来越平缓的，这就导致了$\alpha \ast \frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$越来越小，直至到最低点时斜率为0导致乘积为0，点不会移动。

同时，我们在下面给出$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}$和$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}$的具体表达式：
由于$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i{)}^2$$
因此$$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_1}=\frac{1}{m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i)\ast x_i$$
$$\frac{\partial J({\theta }_0,{\theta }_1)}{\partial {\theta }_0}=\frac{1}{m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i)$$
故
$${\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i)\ast x_i$$
$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(({\theta }_0+{\theta }_1{x}_i)-y_i)$$