机器学习（2）线性回归，代价函数和梯度算法

线性回归，代价函数和梯度算法

线性回归

根据数据集(date set），得到最可能的曲线与数据相拟合，属于监督学习的一种。
一下以单变量线性回归为例：
x为特征值,y为实际值（目标）。
下图为拟合函数：

代价函数

为了确定哪种函数或者曲线能够更好的拟合数据，需要一个评价标准。以上面的例子为基础，根据得到的函数，输入所有数据的特征值，得到计算值，然后与相应的实际值求差方，得到如下公式：

m为样本总量，除以2的目的是方便后续计算。
平方差的第一项为计算值，后一项为实际值。

显而易见，为了得到最好的函数，必须确定两个参数值使左边的值最小。从而引出梯度算法。

梯度算法

我们取不同的参数值，得到相应的代价函数的值，绘制成图像为：

梯度算法的过程为：任取图像中的一点，就像下山一样，往下爬，直到达到局部最低点，此时代价局部最小。即反复调整两个参数值，并不断减小代价值，最终达到局部最优解。
下图为两个参数的调整公式：

α为学习率，必为正数，控制下山时的步伐，即调整参数改变的幅度。
α后面为对应参数的偏导数，它的作用是：（个人理解）当点在局部最优解的左边，此时它的偏导数必为负值，参数就会向后增加；当点在局部最优解的右边，此时它的偏导数必为正值，参数就会向左减小。
注意： 两个参数带入计算时必须同时计算。

梯度算法最终公式

将回归模型公式（右边）带到梯度算法（左边）公式中：

得到最终结果，梯度算法最终公式：

总结：梯度算法公式每次改变参数值时，都需要对数据集全部数据都遍历一遍，很麻烦。