如何理解最小二乘法

https://blog.csdn.net/ccnt_2012/article/details/81127117

最小二乘法即最小平方法
法国数学家，阿德里安-馬里·勒讓德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的y 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动（关于这点可以看下“如何理解无偏估计？”）。

这就是最小二乘法，即：

这个猜想也蛮符合直觉的，来算一下。

这是一个二次函数，对其求导，导数为0的时候取得最小值：

进而：

正好是算术平均数。（算数平均数是最小二乘法的特例，应用范围比较狭窄）

原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。

以下这种方法：

就是最小二乘法，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法（应用广泛）。