最大似然估计的理解(Maximum likelihood estimation）

下午看了半天这个玩意，翻了好几篇文章都感觉很跳跃，最后结合着看终于看明白了。。。赶紧记录下来，省的以后又忘了。。。

1. 直观理解

先上个wiki里的定义：

In statistics, maximum likelihood estimation (MLE) is a method of estimating the parameters of a statistical model, given observations. MLE attempts to find the parameter values that maximize the likelihood function, given the observations. The resulting estimate is called a maximum likelihood estimate, which is also abbreviated as MLE.

大概意思就是这是个统计学里的工具，用已有的数据观察来估计一个数据模型里的参数值，要去找到最合适的参数来把likelihood function最大化。记住几个关键词，已有数据，数据模型，参数值，likelihood function，我们用一些最简单的例子来研究

2.1 离散型数据

例子：现在有100个球，黑白两色，不知道各有多少个，我们抽取（并放回）100次，70次拿到了黑球，30次拿到了白球，问100个球的颜色分布。
好了，一口就能答出来，黑球有70%吧！这就是最大似然估计了！

我们用最大似然估计的常规方法来解一下这个题：
假设黑球有n个，那么每次抽到黑球的几率是P（黑） = n/100， 而P（白） = 1 - （n/100）。
那么我们抽100次球（已有数据）70黑30白的几率是：

现在我们要做的就是取合适的P值，让上面这个式子的值最大，那么就“最有可能模拟出我们做的实验”
简单记录P(黑） = P，
求P的极值我们需要对P求导，发现不太好求。。。我们取自然对数，得到：

再求导：

P = 70%的时候我们就“最有可能模拟出我们做的实验”，求解完成了

总结一下步骤，我们后面还要用到：
a. 写出似然函数：

b. 对似然函数取对数，并整理（因为不好求导）

c. 求导数:

d. 解似然方程:
P = 70%

2.2 计算符合高斯分布的极大似然函数

例子：看下面的这些点，靠近中心的地方比较密集，越往两边越稀疏，我们猜这些点大概符合高斯分布

下面看一下高斯分布的概率密度函数：

意思就是x出现的概率是多少，可以看到越靠近中间那么概率越高，在上面的各个点里面我们取三个点，9， 9.5和11，开始上面说到的步骤：
a. 写出似然函数：

我们取的三个点一起出现的概率是：

b. 对似然函数取对数，并整理（因为不好求导）

c. 求导数

d. 解似然方程:

至此我们就求得了开始预测的高斯分布函数的两个参数~