学习笔记：机器学习之最小二乘法

1.引入

        最小二乘法，也叫最小平方法，它是一种可以用于拟合直线和曲线的常用方法。对于简单的回归直线问题，如何根据已知的坐标得到最为准确的拟合直线？如何定义出这个“最为准确”？最小二乘法给出了答案。

2.如何将直线y=ax+b刻画为最为准确的直线 

        由上图可以看到每个坐标点与此时的直线存在一定距离,那么可以将所有点与直线的距离都计算出来，所有距离加在一块最小时，代价最小。此时可以说明这条直线是最为准确的，虽然不能保证此时的直线都过每个点，都是此时的误差是最小的。确定这条直线就是确定a,b的取值，它们的确定需要用上述的代价来计算。每个点的代价是两点距离的形式是个差值，但是差值运算起来往往不太方便，就不利于后需求参数a,b,所以此时最小二乘法登场，用代价的平方法去刻画总的代价C。

3.求出C最小时参数a,b

求偏导：

    
    其中由①可知，点  过 ；

可解出来a,b;