吴恩达机器学习笔记（1）

2. 单变量线性回归

2.1模型描述

线性回归算法

预测房价的例子：

有了这个函数就可以进行价格预测（那怎么确定函数的参数？）一种可能的表达方式是：

2.2代价函数

我们选择的参数决定了我们得到的直线相对于我们的训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modeling error）。

我们的目标便是选择出可以使得建模误差的平方和能够最小的模型参数。 即使得代价函数最小。

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

2.5梯度下降

梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0,θ1) 的最小值。
梯度下降背后的思想是：开始时我们随机选择一个参数的组合(θ0,θ1,……,θn) ，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

其中α是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

梯度下降的步子与其当前位置到最低点的距离成反比

如果α太小了，即我的学习速率太小，结果就是只能这样像小宝宝一样一点点地挪动，去努力接近最低点，这样就需要很多步才能到达最低点，所以如果α太小的话，可能会很慢，因为它会一点点挪动，它会需要很多步才能到达全局最低点。

如果α太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛，下一次迭代又移动了一大步，越过一次，又越过一次，一次次越过最低点，直到你发现实际上离最低点越来越远，所以，如果α太大，它会导致无法收敛，甚至发散。

所以没必要随着梯度下降另外调整α ，因为越到下面导数（切线斜率）越小。等于说它会自动放慢脚步。梯度下降算法可以用来最小化任何代价函数，不只是线性回归中的代价函数。

2.6梯度下降的线性回归

结合一下梯度下降和代价函数，应用在具体的拟合直线的线性回归算法里。

这里用的是批量梯度下降算法（也有别的梯度算法），在下降的每一步中都要对训练集中所有的数据操作。后面会讲一个计算代价函数J最小值的数值解法，不需要梯度下降这种迭代算法，称为正规方程。在数据量比较大的情况下梯度下降算法好一点。