机器学习初级篇6——极大似然与最小二乘法的关系与统一

极大似然与最小二乘法

一.极大似然估计

在统计学中，最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称最大概似估计，是用来估计一个概率模型的参数的一种方法。（摘自维基百科）
举个生活中最简单的栗子。

假设袋子中有黑白两种颜色的100个球，又放回的取10次球，其中7次是黑球，3次是白球，你猜袋子里面的黑球占多少？

我想你肯定会猜有70个黑球，30个白球。但是为什么？有什么依据吗？我们来推导一下

假设取出黑球的概率是p，取出白球的概率是(1-p)。

p(7黑3白)=p^7 * (1-p)^3
极大似然估计的意思就是当我的黑白球比例是多少的时候，最有可能发生7黑3白这种事件呢？

若max p(7黑3白)，求导等于0即可

p’(7黑3白)=7 * p^6 * (1-p)^3 + (p^7) * 3 * (1-p)^2=0

求得 p=0.7 黑球70个，白球30个

二.最小二乘法

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

三.极大似然估计与最小二乘法关系

当误差项ξ~N(0,σ^2)时，极大似然估计等同于最小二乘法。下面我们一起证明一下：
最小二乘法损失函数是：

因此，当误差项ξ~N(0,σ^2)时：

由此，我们得出：极大似然估计是根据数据估计模型参数的一种方法，这种方法的原理就是如何确定模型参数最有可能得到当前事件，当数据误差项服从标准正态分布时，其结果和最小二乘法一致。