梯度下降法与正规方程法

特征与多项式回归

用复杂的函数去拟合特征，而不是简单的一元一次线性回归；
梯度下降
正规方程：有一定的优点也有一定的缺点，(X^T*X)-1XTy求得最优的theta值

尽管用梯度下降法，特征缩放仍然很重要

何时用梯度下降法，何时使用正规方程法。
1.梯度下降法
缺点：
1>需要去选择alerfa，
2> 需要许多次迭代
优点： 当特征点很大的时候运行的也很好
2.正规方程法
优点：
1.不需要去选择alerfa
2.不需要去迭代
缺点： 1.需要去计算（XTX）^-1(n*n的矩阵）
2. 如果样本点很大，将会计算很慢

（XTX）^-1(nn的矩阵），如果你有n个变量的话，X的转置与X的乘积，你可以发现他们的积的维度为NN，
其中N表示特征变量的数量，对于大多数的计算应用来说，实现逆矩阵的代价，以矩阵维度的三次方增长，因此计算这个逆矩阵的代价，因此计算这个逆矩阵的代价，大致是N的三次方级的时间，有时稍微比n的三次方级快一点，但是对于我们来说已经足够的接近了。
所以如果特征变量的数量n很大的话，那么计算这个量会很慢，实际上正规方程法会慢很多，
因此如果N很大我可能还是会使用梯度下降法，因为我不想花费n的三次方级的时间，但是如果n比较小，那么正规方程法的效果比较好，比较精确，能更好的求解参数，那么怎么叫大还是小呢，
那么n如果是上百的，计算百位数乘以百位数的逆矩阵，对于现代计算机来说没有问题，如果n是上千的我还是会使用正规方程法，千位数乘以千位数的矩阵做逆变换，对于现代计算机来说是相当的很快的
但是如果n是上万 的，那我开始犹豫，上万维度的乘以上万维度的矩阵做逆变换，会开始有点慢，因此我开始倾向于梯度下降法，但是也不一定，你可以逆变换一个上万维度的乘以上万维度的矩阵，但是如果n远大于此，我可能就会使用梯度下降法了，所以如果n等于10^6,

所以到底特征变量的数量达到多少的时候，我会使用梯度下降法呢，对于我来说，这个数值大概是一万左右，