机器学习入门：Linear Regression与Normal Equation

原文转载自：http://blog.csdn.net/xiazdong/article/details/7950087

本文会讲到：

 

(1)另一种线性回归方法：Normal Equation；

(2)Gradient Descent与Normal Equation的优缺点；

前面我们通过Gradient Descent的方法进行了线性回归，但是梯度下降有如下特点：

(1)需要预先选定Learning rate；

(2)需要多次iteration；

(3)需要Feature Scaling；

因此可能会比较麻烦，这里介绍一种适用于Feature数量较少时使用的方法：Normal Equation；

当Feature数量小于100000时使用Normal Equation；

当Feature数量大于100000时使用Gradient Descent；

Normal Equation的特点：简单、方便、不需要Feature Scaling；

其中Normal Equation的公式：

 

其中

 

表示第i个training example；

表示第i个training example里的第j个feature的值；

m为#training example；

n为#feature；

举个实际的例子：