线性回归笔记

线性回归：通过模型进行训练，拟合出线性的曲线作为预测

举例：通过房屋面积预测房子价格

首先，我们需要通过一个线性函数去拟合线性函数，

公式如下所示，其中为拟合的线性曲线中的系数，x为特征，为拟合函数

我们如何判断拟合曲线是否符合真实的函数曲线

两个曲线之间误差不好计算，所以采取最小值的方法将误差计算简化。

代价函数 如下图所示

 个人理解：误差存在正值及负值，所以通过误差平方达到绝对值的作用，并且二次函数可以更好求到最小值。取的理由便于导数求导。

将曲线拟合的问题简化为代价函数如何取到最后的最小值。其中的参数主要为的取值，我们此时需要借助梯度下降方法来完成这一问题。

梯度下降

梯度下降是通过步长的设定控制下降幅度。公式如下所示

在梯度下降的过程中，每一步的所有参数必须同时进行。因为在更新过程中如果先更新了，那么更新时的系数就发生了改变。

在梯度下降中主要控制下降步长大小的，是学习率，

以举例，通过对求偏导，得出在当前点的斜率，偏导数的值如果过大，就会导致每一次梯度下降的步长过大，很难收敛到局部最优，所以通过学习率进一步控制。当 偏导数为正值，减去一个正值，系数就会减少，就离最低点更进一步，如下图。

 总结：

线性回归通过将两条曲线的拟合程度，转化为最小值的求解问题。并通过梯度下降的学习率控制下降幅度，从而达到局部最优值。