最大似然估计(MadTurtle)

似然函数

似然函数是给定联合样本值x下关于未知参数θ的函数：

等式右边表明在给定θ时，x出现的可能性大小。
类似于当x∈X时
如果X时离散的随机变量
，即代表了在参数θ下随机向量X取到x的可能性，也可以称为概率质量函数。
当X为连续随机变量时，那么f(x|θ)为给定θ下x的概率密度函数。

等式左边表明在给定样本x时，对于不同的θ，那个θ可以使x出现的可能性最大。
（这里的参数θ可以参照后面极大似然估计中的参数未知，两个参数表明的意思一样）

极大似然估计

极大似然估计是建立在极大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已定，参数未知”。通过若干次试验，观察结果，得到某个参数值能够使样本出现的概率最大，则为极大似然估计。

这里的”模型已定，参数未知”的意思是：

模型为对于某个随机事件的连续型随机变量的概率密度函数（如正态分布）或对于离散型随机变量的概率质量函数（如泊松分布，二项分布）我们已经确定下来。

而该模型的参数未知（例如正态分布的均数μ和标准差σ，或二项分布中的成功概率p）未确定。

由于样本集中的样本都是独立且同分布的，因此只需要考虑同一种模型。

举例说明怎么估计：

假如抽查一个学校的身高分布，我们随机抽取在学校中抽取100人，并统计他们的身高，假设身高服从正态分布（即模型已知）p(x|θ)，但对他们的均数μ和标准差σ不定，那么如何估计参数θ=[μ, σ]^T？

因为每个样本都是独立抽取，且他们都服从同一个正态分布p(x|θ)，那么抽到男生A的身高概率为p(xA|θ)，男生B的概率为p(xB|θ)，所以同时抽到他们的概率为p(xA|θ)* p(xB|θ)，同理，100名男生就是他们各自概率的乘积，那么他们的联合概率为

（这里p(x;θ)的 ; 代表在给定θ下）
接下来就是求出θ值，当似然函数L(θ)最大，就意味指，抽到身高概率最大，这就叫做极大似然估计。

求解极大似然函数

我们可以通过对其求对数似然函数将连乘式转化为连加式以方便求值。

接下来对似然函数求关于θ向量的倒数，若满足可导，则最大似然估计为

的解。

参考文献：

1. 李航. 统计学习方法[M]. 北京：清华大学出版社，2012
2. 从最大似然导EM算法浅解
3. 极大似然估计详解
4. 极大似然估计总结笔记
5. 知乎：如何理解似然函数