[Week 2] Machine-learning Notes 6 ——Computing Parameters Analytically(另一种求代价函数最优解的方法)

正规方程（没搞明白这公式是怎么出来的。。。。）

1 . 如果使用正规方程法，那么就不需要归一化特征变量。
2 . 并且下面列举了你到底应该在何时选择使用梯度下降法还是正规方程法：

正规方程

即，在n比较小的时候选择后者，在n比较大（>10000）的时候选择前者

正规方程中的不可逆性

Octave 中有两个函数可以求矩阵的逆，一个是pinv()另一个是inv()，区别是前者是伪逆，即使矩阵是不可逆的，也会在数学层面上给出计算结果。
如果不可逆，一般可能是特征中犯了如下错误，我们应该尽力更正这些错误。
其实就是线性代数上面的一些知识，
1 . 将多余的特征替代掉（即特征之间可能是线性相关的，所以导致了不可逆）
2 . 删除一些多余或者无用的特征（当m比n小的时候，此时会造成行数小于列数，即自由变量太多，并不是满秩的一个状态）

image.png

正规方程不可逆的情况

出现不可逆的情况很少发生，而且出现不可逆的问题，不应该被太多关注