【机器学习】课程笔记02_单变量线性回归(Linear Regression with One Variable)

模型描述（Model Representation）

• 线性回归（Linear Regression）

一些符号：

​ m：训练样本的数量

​ x’s：输入变量

​ y’s：输出变量（预测的目标变量）

​ (x, y)：一个训练样本

​ (x⁽ⁱ⁾, y⁽ⁱ⁾)：第i个训练样本

• 数据集 -> 学习算法 -> 函数h（hypothesis，用来预测输入x所对应的y）

• 找到函数 h_θ(x)=θ₀+θ₁x 与数据集相拟合

代价函数（Cost Function）

• 假设函数（Hypothesis）：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

• 参数（Parameters）：${\theta }_0,{\theta }_1$

• 代价函数（Cost Function）：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

• 优化目标：$minimiz{e}_{\theta 0,\theta 1}J(\theta 0,\theta 1)$

  平方误差代价函数是解决回归问题最常用的手段

  最小化问题（减少平均误差）：找到θ₀和θ₁使函数更好地拟合数据。

• 一个参数（假设θ0=0）：

• 两个参数：

  • 3D-曲面图：

  

  • 等高图（contour plots）：

  

梯度下降（Gradient Descent）

• 梯度下降思路：

  • 给定 $\theta 0,\theta 1$ 的初始值（通常$\theta 0=0,\theta 1=0$）
  • 不停地一点点改变 $\theta 0,\theta 1$ 的值使 $J(\theta 0,\theta 1)$ 变小直到找到最小值
  • 初值的不同可能会得到两个不同的结果，即梯度下降不一定得到全局最优解

• 梯度下降算法：

  • $\alpha$ 为学习速率（控制更新参数的幅度）

  

  • 同步更新

  

• 公式由两部分组成：$\alpha$ 和 偏导数

  • 偏导数用来计算当前参数对应代价函数的斜率，导数为正则$\theta$减小，导数为负则$\theta$增大，通过这样的方式可以使整体向$\theta =0$收敛。

  

  • $\alpha$的取值：

    • 若太小，梯度下降会很慢。

    • 若太大，梯度下降会越过最低点，甚至可能无法收敛或发散。

• 当 $\theta$ 处于局部最优解时，$\theta$ 的值将不再更新，因为偏导为0。

• 即使 $\alpha$ 不变，参数也可能收敛，假设偏导>0，随着接近最小值，偏导逐渐减小，移动的幅度也会变小，所以无需减小 $\alpha$ 的值。

• 结合梯度下降算法和平方差代价函数可以得到一个线性回归的机器学习算法。

线性回归的梯度下降

• 任务：将梯度下降算法应用到最小化平方差代价函数上。

• 梯度下降的过程容易出现局部最优解，但线性回归的代价函数是一个凸函数（convex function），所以总能收敛到全局最优解（只有一个）。
• Batch梯度下降：每一步梯度下降我们都遍历了整个训练集的样本。