损失函数、最小二乘法、梯度下降法

损失函数与最小二乘法的区别?最小二乘法与梯度下降法区别?

之前一直认为损失函数就是最小二乘法。然后最小二乘法与梯度下降法折两个概念就搞不清楚了。
tips---f(x)为预测函数,y为真实值
损失函数:f(x)-y的均方差,他的几何意义是欧几里得距离。
最小二乘法:基于均方差最小化来进行模型求解的方法称“最小二乘法”,是基于一种求导的方法。
梯度下降法:另一种求解模型最优化的方法,该方法采用梯度下降的思想(沿着函数的梯度方向探索)求解最小值,

你可能感兴趣的:(损失函数、最小二乘法、梯度下降法)