什么是最小二乘法?

答:(最小二乘法的一个最简单的例子便是算术平均。)最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。用函数表示为:  使误差平方和达到最小以寻求估计值的方法,就叫做最小二乘法,用最小二乘法得到的估计,叫做最小二乘估计。当然,取平方和作为目标函数只是众多可取的方法之一。

    勒让德在论文中对最小二乘法的优良性做了几点说明:

1.最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位

2.计算中只要求偏导后求解线性方程组,计算过程明确便捷

3.最小二乘可以导出算术平均值作为估计值

 

你可能感兴趣的:(机器学习小知识)