uniform机器学习极简入门1--极大似然法

大家好，我是uniform，本人平时关注机器学习和深度学习相关的工作，后续我将会不断推出机器学习&深度学习的入门教程，力图把各个公式结合在一起，给大家呈现不一样的数学和统计。最新的一些业界paper也会后续开相应的专栏来read，希望大家关注。

1 极大似然法的通俗理解

最大似然估计法(MLE:max likelihood estimation)其实就是希望通过样本来估计总体的参数。

已知一个袋子，里面分别装有两种颜色的球（红色和白色），我们有放回地从这个袋子抽取10次，得到8个红色球和2个白色球，求解该袋子的红色球的占比概率。

为了计算这个概率，我们希望最合理的参数应该是使得上述事件发生概率最大的参数。

在参数估计的方法理论上，一直存在两种学派

1 频率派
2 贝叶斯学派

一般我们假设：数据属于独立同分布

今天介绍的最大似然就是频率学派的方法理论，我们假设红色球的概率为p，则白色球的概率为(1-p)，上述描述的事件可以用如下概率表示：

只需要求得上述式子使得L取最大值的p即可。
上述式子求解极值的方法一般是先取对数

求导得到

2 极大似然法的一般式子

通过上述的例子，我们明白了极大似然法如何进行参数估计，我们用更加一般的式子表示如下：

其中D表示数据集（即上述我们采样的样本），式子表示希望找到某个\theta使得P(D)概率最大。

上面我们提到了MLE属于频率学派的理论基础，然而对于贝叶斯学派，他们认为参数\theta本身不是一个常量，而是应该也服从某个分布（即我们所说的先验分布）。我们先给式子如下：

这个式子就是我们所说的后验概率，我们目标就是希望后验概率最大（MAP）。

我们做如下假设

从拟合的角度来看，最后一项logP(\theta)其实就是一个类似正则化的作用。第一项是表示经验损失。

3 更一般的例子

我们举个后续文章会陆续用到的例子：

假设要估计某个学校男生女生的身高分布，已知该校男生和女生的身高分别服从两个参数不同的高斯分布，以男生抽样为例子，我们从男生中抽样得到n名学生的身高(x1, x2, x3, ...,xn)，请问该校男生的身高分布。

上述问题用数学公式表示如下：

根据MLE，我们的目标依然是最大化L，由于连乘计算求导不方便，我们取对数

由于凸函数极值是导数为零的点，所以求如下等式

可以求得

根据抽样的x带入上述式子可以求得估计的分布结果。

如果上述x是多维向量，那么上述参数估计可以推广到高维（对应的高斯分布也是高维高斯分布，后续我们会举更多高维例子）