机器学习基础——线性回归算法

一、概念

要明白什么是线性回归算法，首先要明白什么是线性，什么是非线性、什么是回归。

1. 线性：指两个变量之间的关系是一次函数的关系——即图像为直线
2. 非线性：两个变量之间的关系不是一次函数关系的——图象不是直线，叫做非线性。
3. 回归：人们在测量事物的时候因为客观条件所限，求得的都是测量值，而不是事物真实的值，为了能够得到真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值，这就是回归的由来。即多次测量使测量值无限逼近与实际值。
   线性回归算法就是大量线性的数据形成一个线性函数去拟合估计实际值的算法。

线性回归算法解决的问题

对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。

线性回归算法的数学模型

线性回归算法的一般模型

图中对应的3个点分别为(1,1),(2,2),(3,3)那么很明显，最佳线性回归模型就是h(x)=x。如果通过实验证明呢？我们画出在theta-1处于不同值的代价函数。

线性回归算法的特点

1. 建模时间快，不需要很复杂的计算，在数据量大的情况下依然运行速度很快。
2. 可以根据系数给出每个变量的理解和解释。
3. 对异常值很敏感。