辨析：最小二乘、线性回归与极大似然

下面三个概念在机器学习领域非常常见：

• 最小二乘：也称为最小二乘法，英文 Least Square Method（LSM）；
• 线性回归：英文 Linear Regression（LR），在无歧义或概念要求不严格的情况下，有时可能用“线性模型”、“回归”指代；
• 极大似然：也称为极大似然估计，英文 Maximum Likelihood Estimate（MLE）。

这三个术语经常存在混淆，本文试图辨析。

注意，本文辨析结果也许与一般书籍论文中定义不同，全在于个人理解。

线性回归：以最小二乘法求解的线性模型。

最小二乘：以 L2 损失函数为目标的模型优化方法。

最小二乘，狭义上，是以最小化目标  与拟合函数  误差平方和的方式，确定函数参数  的方法，即

当  是关于参数  的线性函数的时候：

误差  进一步满足: (1)  , (2)  时，最小二乘法优化得到的函数参数是 BLUE 的，即最佳线性无偏估计。

极大似然：以最大化似然函数为目标的模型优化方法。

重点说明极大似然与最小二乘的关系。

假设模型的误差可以用正态分布建模，即

 

可以写成

易知，利用极大似然优化上式，等价于上述最小二乘的优化公式。

最后

需要注意，利用最小二乘法优化线性回归，并不需要正态分布假设即可 BLUE。

正态分布假设只是试图建立最小二乘与极大似然之间可能存在的关系。