吴恩达机器学习课程笔记—

1. 单变量线性回归(Linear Regression with One Variable)

1.1 模型表示

单变量线性回归

像上述公式，因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。

例子如下：

回归函数图示

单变量线性方程，就是我们初中就学的一元一次函数。
当然啦，除了这个模型之外，我们还有很多其他的线性模型，比如指数模型、对数模型等等，除了线性模型之外，还有非线性模型，有这么多的模型，其目的就是在于更好的拟合训练集的数据，以使得预测率更高。

以下是对模型的具体定义：

回归图示

2. 代价函数(Cost Function)

代价函数就是为了就是找到目的函数的最优解。

因为在一个训练集中，有无数个模型（一元一次函数），我们需要找到最拟合这个训练集的一个函数，所以就引入了代价函数，用来找到那个最好的模型。

2.1公式表示

代价函数

上述是平方误差代价函数，这也是常用到的代价函数，它通过目的函数跟各个实际值的误差平方建立新的函数。为了使这个值不受个别极端数据影响而产生巨大波动，采用类似方差再取二分之一的方式来减小个别数据的影响。

平方误差代价函数图示

2.2 代价函数的直观理解①

最优解即为代价函数的最小值，根据以上公式多次计算可得到代价函数的图像：

代价函数图示

可以看到该代价函数的确有最小值，这里恰好是横坐标为1的时候。

2.3 代价函数的直观理解②

如果有更多参数，就会更为复杂，两个参数的时候就已经是三维图像了：

代价函数图示2

3. 梯度下降算法(Gradient Descent)

梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0,θ1) 的最小值。

个人理解，代价函数是分析模型与实际训练集之间的误差，而梯度下降算法的作用，就是找出那个误差最小的代价函数。

算法思想

算法思想

从参数的某一个（组）值开始，比如从θ0=0和θ1=0开始
保持该（组）值持续减小，如果是一组值就要保证他们同步更新，直到找到我们希望找到的最小值

我们要找到一条最快下山的路径，我们走的每一步大小就是α 。

梯度下降图示1

如果在不同的起点，最后到达的最低点也会不一样。

梯度下降图示2

3.1批量梯度下降(batch gradient descent)

批量梯度下降

α：学习速率，决定我们让代价函数下降程度最大的方向迈出的步子有多大

3.1.1 同步更新(Simultaneous update)

在梯度下降算法中，我们需要更新θ0,θ1，实现梯度下降算法的微妙之处是，在这个表达式中，如果你要更新这个等式，你需要同时更新。

同步更新公式

3.1.2 梯度下降算法理解

如果 α 太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛，下一次迭代又移动了一大步，越过一次，又越过一次，一次次越过最低点，直到你发现实际上离最低点越来越远，所以，如果 α 太大，它会导致无法收敛，甚至发散。

对α的理解

解决方法——乘偏导数

批量梯度下降直观图

首先初始化我的梯度下降算法，在那个品红色的点初始化，如果
我更新一步梯度下降，随着我接近最低点，我的导数越来越接近零，所以，梯度下降一步后，新的导数会变小一点点。然后我想再梯度下降一步，在这个绿点，我自然会用一个稍微跟刚才在那个品红点时比，再小一点的一步，到了新的红色点，更接近全局最低点了，因此这点的导数会比在绿点时更小。所以，我再进行一步梯度下降时，我的导数项是更小的，θ1更新的幅度就会更小。所以随着梯度下降法的运行，你移动的幅度会自动变得越来越小，直到最终移动幅度非常小，你会发现，已经收敛到局部极小值。