机器学习系列之极大似然估计（MLE）

核心

在统计学中，极大似然估计（Maximum Likelihood Estimation）是用来估计模型参数的一种方法，就是利用已知样本的结果信息，反推出最有可能导致这样结果的模型参数值。一般情况下，我们用 $\theta$ 来表示模型的参数，所以解决问题的本质就是求$\theta$。

举例1

现在假设有一枚不均匀的硬币，然后我们做了100次实验，一共60次正面，40次反面；我们设 $\theta$ 为硬币朝上的概率。

现在假设 $\theta =0.5$ ，则导致该结果的概率为：$$P(X=60)=C_{100}^{60}0.5^{60}(1-0.5{)}^{40}\approx 0.0108$$
现在假设 $\theta =0.6$ ，则导致该结果的概率为：$$P(X=60)=C_{100}^{60}0.6^{60}(1-0.6{)}^{40}\approx 0.0812$$
注意开头写的，我们需要得出最有可能导致这样结果的模型参数值，从上面的计算可以看出 $\theta =0.6$ 时产生这种结果的概率要比 $\theta =0.5$ 时高得多。

上面只是对比了 $\theta$ 为不同值时，产生该结果概率的差异。为了求出 $\theta$ 的具体值，我们应先写出似然函数：$$L(\theta )=C_{100}^{60}{\theta }^{60}(1-\theta {)}^{40}$$
也就是我们需要求出一个 $\theta$ 使得$L(\theta )$值最大，即最大化这个似然函数：
$${\theta }_{MLE}=arg\max L(\theta )$$这个式子正常求解就好。这个例子主要是为了方便大家理解什么是最大似然估计。

举例2

现在我们把上面的例子稍微扩展一下。假设我们做了三组实验，每组实验做了100次，其中，正面朝上的次数分别是50、60、70。这时，因为实验室独立的，我们可以写出似然函数：$$L(\theta )=f(50|\theta )\ast f(60|\theta )\ast f(70|\theta )$$在这个式子中：$$f(x|\theta )=P(X=x)=C_{100}^x{\theta }^x(1-\theta {)}^{100-x}$$一般化的，假如我们做了很多组实验，实验结果用分别用$x_1$，$x_2$，$x_3$…，$x_n$表示，则似然函数为：$$L(\theta )=f(x_1|\theta )f(x_2|\theta )\cdots f(x_n|\theta )$$然后来最大似然函数：$${\theta }_{MLE}=arg\max L(\theta )=arg\max (f(x_1|\theta )f(x_2|\theta )\cdots f(x_n|\theta ))$$解这个式子的时候一般先取个对数，将连乘变为连加。这个例子主要想说明最大似然可以从很多组样本中来反推出合适的模型参数，下面我们看一个更经典的例子。

正态分布的极大似然估计

现给定一组样本$x_1$，$x_2$，$x_3$…，$x_n$，已知它们来自于高斯分布$N(\mu |\sigma )$，也就是我们已知观察结果和模型，不知道参数$\mu$和$\sigma$，现在需要估算$\mu$和$\sigma$，首先我们写出高斯分布的概率密度函数：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
同样的，我们写出似然函数（为了方便运算，我直接取了对数）：
$$\begin{array}{rl}L(x)& =\log \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{{(x_i-\mu )}^2}{2{\sigma }^2}}\\ & \\ & =\sum _{i=1}^{n}log\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{{(x_i-\mu )}^2}{2{\sigma }^2}}\\ & \\ & =\sum _{i=1}^n\log \frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^n-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\\ & \\ & =-\frac{n}{2}\log 2\pi {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2\end{array}$$
然后将目标函数对参数 $\mu$，$\sigma$ 求偏导，具体过程就不写了，很容易得到：
$$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$
$${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2$$
我们从式子中其实可以看出，所求得的均值 $\mu$ 和方差 $\sigma$ 也是符合我们的预想的，可以看出样本的均值也就是高斯分布的均值，样本的伪方差也是高斯分布的方差。敲了这么多公式来推正态分布的极大似然估计，是因为它很重要，后面别的博客还会用到它。

总结

总结起来就是：已知模型和观测数据X，对模型参数 $\theta$ 做估计：
$${\theta }_{MLE}=arg\max P(X|\theta )$$
更专业的说法是，最大似然是为了减少模型的概率分布 $Q(x;\theta )$ 与真实分布 $P(x)$ 之间的差异：
$$\begin{array}{rl}{\theta }_{MLE}& =arg\max \prod _{i=1}^{m}Q(x^i;\theta )\\ & \\ & =arg\max \sum _{i=1}^m\log Q(x^i;\theta )\\ & \\ & \approx arg\max E_{x\sim P(x)}[\log Q(x;\theta )]\end{array}$$