[线性回归] 梯度下降和正规方程法

批梯度下降法(Gradient Descent)
正规方程法(Normal Equation)

	批梯度下降	正规方程
学习速率	需要设置	不需要
计算次数	需要多次迭代	不需要迭代
时间复杂度	O (kn2)	O (n3) 需要计算 XTX
特征数量	即使n很大也能工作	如果n很大会很慢

总结：

1. 如果特征值小于10k，或者100k，正规方程会是一个非常简便高效的方法。
   否则，正规方程的计算时间将会变的非常巨大，还是使用批梯度下降法比较好。
2. 正规方程支持的算法不是很多，批梯度下降法几乎支持主流的方法。

所以，出于学习目的，两个方法都是值得的。