Linear Regression与Normal Equation

今天学习Ng的《Machine Learning》里面的Linear Regression与Normal Equation 总结一下
(1)另一种线性回归方法：Normal Equation；
(2)Gradient Descent与Normal Equation的优缺点；

• 前面我们通过Gradient Descent的方法进行了线性回归，但是梯度下降有如下特点：
• (1)需要预先选定Learning rate；
• (2)需要多次iteration；
• (3)需要Feature Scaling；

因此可能会比较麻烦，这里介绍一种适用于Feature数量较少时使用的方法：Normal Equation；
当Feature数量小于100000时使用Normal Equation；
当Feature数量大于100000时使用Gradient Descent；

Normal Equation的特点：简单、方便、不需要Feature Scaling；
其中Normal Equation的公式：

Normal Equation

举个课程中例子

另外一篇觉得从写得很好的文章，和Ng课程补充
推导的过程其实就是线性代数里面的常识，发现网上有很多总结好的就不写了，给出链接：
Normal Equations 的由来与推导
Five Ways to Derive the Normal Equation