第二周 - Computing Parameters Analytically

正规方程法

梯度下降法使用迭代找出θ的值，也可以使用数学方法-正规方程法直接计算出θ的值。

正规方程法计算公式

X^T表示矩阵X的转置矩阵；
(X^TX)^-1表示(X^TX)计算结果的逆矩阵。

使用正规方程法时不需要进行特征缩放。

下面是梯度下降法与法向方程的比较：

梯度下降法	正规方程法
需要选择学习速率α	不需要选择学习速率α
需要多次迭代	不需要迭代
性能为O (kn2)	O (n3), need to calculate inverse of XTX
当n(特征量)很大值，也可以很好的工作	当n(特征量)很大时计算很慢

在实践中，当n超过10,000时，应该考虑使用梯度下降法。

正规方程法的不可逆

当X^TX的结果不可逆时，就是说使用正规方程法不可逆。
在octave中，应该使用pinv而不是inv求解逆矩阵，pinv在X^TX不可逆时也会给出θ值。
当X^TX的不可逆时，解决问题的方法包括删除与另一个特性线性相关的特性，或者删除一个或多个特性(当特性太多时)。