ML学习笔记（2）——一元线性回归：模型、代价函数、梯度下降算法

1.一元线性回归 univariate linear regression

一元线性回归基本概念

模型（假设函数hypothesis function）
代价函数cost function

代价函数中的求和项，实际上是该参数条件下拟合的直线与实际样本表现的纵坐标之差的平方，几何上表达了拟合结果与样本的偏离程度。

拟合结果和样本数据的关系

一元线性回归的代价函数是一个碗形曲面（线性回归的代价函数总是一个凸函数convex function），当参数值不特殊时，仅有一个全局（global）最优解可使J=0，没有局部（local）最优解。

代价函数图像

当我们把俯瞰上图并依据函数图像在水平投影面的值绘制出等高线（J值作为高度且相等）来，可以直观的看到该函数的局部最优解取值在何处。等高线也可译作轮廓线，在同一条等高线上的参数组合，所得的J值相等。

代价方程的等高线图（contour plots）

2.梯度下降算法

下图梯度下降算法中的θ0和θ1注意要在递归中同步更新。图中用“:=”来表示赋值。

梯度下降算法

式中α为“学习速率”，该值在同一次机器学习中，值一般是固定的。低的学习速率会耗费大量计算资源，但一旦α取值过高，则可能导致越过局部最优解甚至无法收敛（converge）。由于偏微分项（可看做切线斜率）的绝对值会随学习进行而逐渐减小，所以越临近局部最优解，算法对参数组合的值调整幅度越小，因此，我们没有必要主动减小α的值。

将代价函数定义等式代入上式，求偏导可得：

梯度下降算法中消除微分项

对于可能有局部最优解的代价函数，参数的初始化会影响最终得到的最优解：

参数初始化影响最优解的获得