最小二乘法

---

（面试让我手推最小二乘求解过程。。。面完赶紧回来亡羊补牢。。。）

转载自：http://www.cnblogs.com/pinard/p/5976811.html

---

最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即，而非线性最小二乘没有closed-form，通常用迭代法（梯度下降法，牛顿法，Levenberg-Marquardt等）求解。迭代法，即在每一步update未知量逐渐逼近解，可以用于各种各样的问题（包括最小二乘），比如求的不是误差的最小平方和而是最小立方和。

所以如果把最小二乘看做是优化问题的话，那么梯度下降是求解方法的一种，是求解线性最小二乘的一种，高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。