最小二乘与梯度下降的关联与区别

不同点

最小二乘是指的列出最佳拟合的函数,梯度下降是一种求极值的一种方法。两者有本质区别。

最小二乘

最小二乘直接对其中每个θ求偏导数,如下图:

如上图可以看出,其不需要迭代计算。

梯度下降

经变换后算法:


α为步长。以上为迭代算法,缺点是在接近最小点时,收敛变慢。
附矩阵形式的算法,为非迭代:


X向量是训练集的特征向量,Y向量是训练集的真实值向量

你可能感兴趣的:(ML入门笔记,机器学习,最小二乘,梯度下降)