极大似然估计 伯努利分布 高斯分布 正态分布

#极大似然估计 伯努利分布 高斯分布 正态分布

概率分布的参数能以最高的概率产生这些样本。

如果观察到的数据是 $D_1,D_2,D_3,...,D_N$,
那么极大似然的目标如下：

$$maxP(D_1,D_2,D_3,...,D_N)$$

这里需要计算所有数据的联合概率，这不是件容易的事。
因此在这里引入了， 独立同分布假设，
independent and identically ditributed (i.i.d)
即每个样本出现的概率互不影响。
则现在我们要解决的问题变成：

$$max\prod {}_i^{N}P(D_i)$$

对于优化问题，常用的方法是求导数取极值。
如果目标是一个凸函数，那么它导数为0的点，
就是极值点。
但现在公式中有连乘，求导比较麻烦。
这时，将函数取对数，函数的极值点不会改变。
现在公式变为：

$$max\sum {}_i^{N}logP(D_i)$$

现在求导会变得简单许多。

下面是例子

离散分布

伯努利分布下随机变量的最大似然计算方法。
假设

$$P(X=1)=p,P(X=0)=1-p$$

那么

$$P(X)=p^X(1-p{)}^{1-X}$$

如果有一组数据D从这个随机变量中采样得来，那么：

$$ma{x}_{p}logP(D)$$

$$=ma{x}_{p}log\prod _i^{N}P(D_i)$$

$$=ma{x}_p\sum _i^{N}logP(D_i)$$

$$=ma{x}_p\sum _i^{N}log{p}^{D_i}(1-p{)}^{1-D_i}$$

$$=ma{x}_p\sum _i^N[D_{i}logp+(1-D_i)log(1-p)]$$

对这个式子求导，得到：

$${▽}_{p}logP(D)=\sum _i^N[D_i\frac{1}{p}+(1-D_i)\frac{1}{p-1}]$$

另导数为0，就有：

$$\sum _i^N[D_i\frac{1}{p}+(1-D_i)\frac{1}{p-1}]=0$$

$$\sum _i^N[D_i(p-1)+(1-D_i)p]=0$$

$$\sum _i^N(p-D_i)=0$$

$$N\ast p-\sum _i^N{D}_i=0$$

$$p=\frac{1}{N}\sum _i^N{D}_i$$

伯努利分布下最大似然法求出的结果，相当于所有采样的平均值。

连续分布
基于高斯分布最大似然法计算
$$p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

$$maxlogP(D)$$

$$=maxlog\prod _i^{N}P(D_i)$$

$$=max\sum _i^{N}logP(D_i)$$

$$=max\sum _i^{N}log(\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(D_i-\mu {)}^2}{2{\sigma }^2}})$$

$$=max\sum _i^N[-\frac{1}{2}log(2\pi {\sigma }^2)-\frac{(D_i-\mu {)}^2}{2{\sigma }^2}]$$

$$=max[-\frac{N}{2}log(2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _i^N(D_i-\mu {)}^2]$$

首先对$\mu$ 求导:

$$\frac{\partial logP(D)}{\partial \mu }=-\frac{1}{{\sigma }^2}\sum _i^N(\mu -D_i)$$

令导数为0：

$$-\frac{1}{{\sigma }^2}\sum _i^N(\mu -D_i)=0$$

$$\mu =\frac{1}{N}\sum _i^N{D}_i$$

其次，对 ${\sigma }^2$ 求导：

$$\frac{\partial logP(D)}{\partial {\sigma }^2}=-\frac{N}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _i^N(D_t-\mu {)}^2$$

令导数为0：

$$-\frac{N}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _i^N(D_i-\mu {)}^2=0$$

$${\sigma }^2=\frac{1}{N}\sum _i^N(D_i-\mu {)}^2$$

从伯努利分布和高斯分布的最大似然法结果来看，最终求得的参数结果
和期望方差的计算方式一致。