最大似然估计，最大后验概率估计，Least Square的理解

在统计学中，最大似然估计（Maximum likelihood estimation，缩写为MLE）和最大后验概率估计 （Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，在回归问题中几种模型都源自这两种参数估计方法，所以详细理解这MLE和MAP的思路与区别对于回归问题模型的理解很有帮助。

似然函数

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。设总体分布为，是从整体分布中抽出的样本，那么样本()的联合分布为：
= 
当固定时，L是一个关于的函数，称作概率密度函数。
当固定时，把L看作的函数，称作似然函数。

最大似然估计

通过似然函数的定义我们知道，似然函数是参数的一个函数。在已有样本()的条件下，最大似然估计的过程，就是找一个合适的，使得平均对数似然的值为最大。因此，可以得到以下公式：

求解最大似然估计

通过上述我们可以知道最大似然估计是在求使得出现该组样本的概率最大的值，由于L也是关于样本的联合概率密度函数，所以我们可以得到以下公式:
 =  
实际中为了便于分析，定义了对数似然函数：


为了使得L最大，只须使得log L 最大，故在对 存在连续偏导数时，极大似然估计量是下面微分方程的解：

如果有多个参数，可以使用梯度算子对多个参数进行求解。

最大后验概率估计

最大后验估计的基础是贝叶斯公式:

公式里是之前提到的似然函数，是先验概率，是指在没有任何实验数据的时候对参数 的经验判断，是边缘概率，与无关，所以在优化过程中不起作用，顾可以去掉这一项，是后验概率。
最大后验概率估计即最大化，当已有样本之后求的值使得后验概率最大

Least Square, Ridge回归，Lasso回归

假设根据特征的预测结果与实际结果有误差：
 = 
一般来讲，误差满满足平均值为 0 的高斯分布，也就是正态分布，即,那么可以知道
用最大似然估计可推导可得：

                             
最大化上式等价于最小化：

得到熟悉的最小二乘法。