最小二乘法和极大似然估计

最小二乘法

基本思想

简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小

  θ表示要求的参数，Yi为观测值(向量)，f（xi|θ)为理论值。

最小二乘的作用

用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。并且对于新的输入样本，当有了参数估值后，带入公式可以得到输入样本的输出。

如何求解最小二乘

多元函数求极值的方法，对 θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

极大似然估计

基本思想

当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

似然函数

对数似然函数

 当样本为独立同分布时，似然函数可简写为L(α)=Πp(xi;α)，牵涉到乘法不好往下处理，于是对其取对数研究，得到对数似然函数l(α)=ln L(α)=Σln p(xi;α) 

求解极大似然

同样使用多元函数求极值的方法。

最小二乘与极大似然的区别

摘自http://blog.sina.com.cn/s/blog_4b12446d010191ri.html

参考： http://www.zhihu.com/question/20447622  最大似然估计和最小二乘法怎么理解

以最大似然来证明为什么最小二乘要用平方

看链接：

http://maplewizard.github.io/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5%AF%B9%E8%AF%AF%E5%B7%AE%E7%9A%84%E4%BC%B0%E8%AE%A1%E8%A6%81%E7%94%A8%E5%B9%B3%E6%96%B9/