最小二乘法和最小二乘估计和M估计式什么关系?

一.最小二乘法

原理:利用样本回归函数估计总体回归函数(不是误差总体累加,而是每一个都是单独的方程来计算的误差,就如AX=b一样的形式。在根据A,X的具体形式,可以分为线性最小二乘和非线性最小二乘,在w权重的话就是加权最小二乘),是根据一个给定的包含n组X和Y观测数据的样本,建立样本回归函数,使估计值 尽可能接近观测值Yi。最小二乘原理就是根据使样本剩余的平方和达到最小的准则,确定模型中的参数,建立样本回归函数。

二.最小二乘估计

原理:以误差的平方和最小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法。1794年德国数学家C.F.高斯在解决行星轨道预测问题时首先提出最小二乘法。它的基本思路是选择估计量使模型(包括静态或动态的,线性或非线性的)输出与实测输出之差的平方和达到最小。这种求误差平方和的方式可以避免正负误差相抵,而且便于数学处理(例如用误差的绝对值就不便于处理)。

形式:

三.M估计

基于最小二乘估计发展起来的一种抗差估计方法

参考:https://zhidao.baidu.com/question/47620912.html
侵权请联系

你可能感兴趣的:(最小二乘法,机器学习,算法)