吴恩达机器学习课程学习记录（2.单变量线性回归）

2020.10.6完成第二章：单变量线性回归
（注：文章中的截图均来自于吴恩达老师的课程PPT）
吴恩达老师的课程可在网易云课堂或B站进行观看。
下面的笔记是按照网易云课堂中的课时来记录的。

1、模型描述：

讲了线性回归预测模型（一次函数）

预测函数（hypothesis function）

2、代价函数：

介绍了代价函数（cost function）的定义

3、代价函数（1）：

进一步取不同值计算代价函数的大小

4、代价函数（2）：

同时考虑两个参数，可视化不同代价函数的“代价”大小，并且引出 应该让机器自己找到这个“最低点”（就是代价最小对应的参数值）

5、梯度下降：

本节介绍了梯度下降算法（Gradient descent algorithm），该算法可以让机器自动地找到损失最小值对应的假设函数的几个参数（本题以两个参数为例），梯度算法其实就是每走到一个点，求一次梯度（梯度是函数值变化最快的方向），然后不断“下山”，直到到达最底部（损失最小）的地方。

梯度下降算法

梯度下降算法

而且注意，每在一个地方，求一次导数值，都要同步更新所有参数，如上图来看，右边部分是错误的（不是我们所说的梯度下降算法，可能也行得通，但那是其他算法了），因为没有同步更新参数。

6、梯度下降知识点总结：

learning rate

梯度算法中的α是learning rate 学习速率的意思，控制着“下山的步伐的大小”。

梯度下降算法

以一个参数为例来解释为什么梯度更新的式子是那样的，上面两图就清楚地解释了怎样“朝低的地方走去”

图片.png

上图解释了learning rate的大小对寻找到最低点的影响。太小的话下降得太慢，太大的话有可能直接越过局部最优解。

梯度下降算法有一个Bug,有时候通过不断地梯度下降也只能找到局部最优点，没办法找到全局最优点，但如果是线性回归的话，不存在这种问题，线性回归的梯度下降最后到的都是最终的最低值（全局）。

线性回归的代价函数总是弓状函数（convex function），最后总会走到同一个最低点。（下面的二维图像其实就是代价函数（两个未知数）的图像）。

线性回归的代价函数

局部最优（local optimum）

图片.png

后面下降的幅度会逐步减小，直到到达最底部不变，因为最底部的导数值为0，此时不会再有变化（但前提是要能到达底部）

7、线性回归的梯度下降 （线性回归算法的形成）

将梯度下降和代价函数结合得到线性回归算法，用直线来拟合数据。

Use gradient decent to minimize our squared error cost function(用梯度下降算法来最小化平方差代价函数)

课时内容简要摘录（网易云课堂上附带的概要）：

章节2：单变量线性回归

课时6：模型描述

为了更准确地描述监督学习问题，我们给出一个训练集，以此来构建一个模型。

课时7：代价函数
课时8：代价函数（1）
课时（9）：代价函数（2）

我们可以通过使用代价函数来衡量假设函数的准确性。这取决于x的输入和实际输出y的假设的所有结果的平均差异（实际上是平均值的平均值）

课时10：梯度下降

当我们有一个假设函数，并且有一种方法来衡量它对数据的适应性。现在我们需要估计假设函数中的参数，这就是梯度下降的地方。

课时11：梯度下降知识点总结

这点笔记希望能帮上同是新手的朋友一点忙吧（不过还是推荐亲自去看看老师的视频啦），有哪里表述不准确的希望大家多多指正。