多元线性回归

比如有一个住房价格的数据集，可能会有多个不同的模型用于拟合，选择之一像是这种二次模型：θ0+θ1x+θ2x²，因为直线并不能很好的拟合这些数据。但是现在如果用二次函数去考虑，可能会想到二次函数在最高点之后会下降，但是价格并不会下降，并不合理，那我们可以用θ0+θ1x+θ2x²+θ3x³这样的三次模型。如果像这样选择模型，那么特征缩放就变得更重要了。

我们有很大的余地来选择要使用哪些特征，比如

正规方程：

对于某些线性回归问题， 正规方程会给我们更好的方法让我们求得θ的最优值。
梯度下降算法：为了最小化代价函数J(θ)，我们使用这种迭代算法。经过很多步，也就是梯度下降多次的迭代，来收敛到全局最小值，相反的，正规方程 提供了一种θ的解析方法，所以我们不需要迭代算法，而是可以直接一次性求解θ的最优值，基本上只需要一步就可以得到最优值

但是正规方程同样有一些缺点，如果特征太多（1万以上），就使用梯度下降。

当计算θ = (X^TX)^-1*X^T*y时，如果矩阵X^TX不可逆怎么办，的确，在线性代数中，有一些矩阵可逆，还有一些不可逆。我们称不可逆的矩阵为奇异矩阵或者退化矩阵，X^TX不可逆的情况很少，Octave里有两个函数可以求矩阵的逆，一个是pinv，一个是inv，这两者的差异是技术性的。即使矩阵是不可逆的，使用pinv函数可以计算出矩阵的逆，我们称为伪逆