极大似然估计_矩估计和极大似然估计

由于知乎的公式编辑器我实在用不习惯，暂时没有公式，相关的公式和定理证明后续会再更新。很久没有写过东西，写了大概也不会有人看。但是最近有打算整理一下数理统计的知识，所以逐渐写一些相关的东西放在专栏里。今天就大概说说点估计的两个基本方法和一些它们的比较。

一、矩估计

矩估计是一种十分直观的估计方法，设

是简单随机样本（独立同分布），则可以用样本矩估计总体矩，由此获得一个关于总体分布参数的一个方程组，解之可得矩估计。矩估计的基本思路在于，样本原点矩是总体原点矩的无偏估计，如果存在的话。样本中心矩经过一些简单的调整也可以使之无偏。

二、极大似然估计

所谓极大似然估计，就是找到一个得到观测样本的“看起来最像”的参数。似然函数与样本的联合概率函数在形式上是一致的，只是看法不同。概率函数将待估参数θ视为给定，其取值解释为，获取当前样本的概率（密度）；而似然函数则视样本数据为给定，其取值则被解释为样本来自某个θ决定的分布的“可能性”，“可能性”最大的那个θ，自然就是真实参数的极大似然估计。实际应用中，为了处理方便，常常对似然函数取对数，得到对数似然函数，对数似然函数和似然函数在同一位置取到最大值。这样，极大似然估计实际上就是求目标函数最大值的最优化问题（有可能是有约束的，也有可能是无约束的），有时候这个解需要使用数值方法找到。事实上，机器学习中常用的EM算法就是一种特殊的求极大似然估计的数值方法。

三、两种基本估计方法的对比

矩估计是一种相对简单的估计方法，只要矩估计可以使用，它的计算一般比极大似然估计要简单。除此之外，矩估计使用的限制也相对较少，在极大似然估计的情况下，要求概率函数必须有解析表达式，也要求待估参数θ必须取值在欧氏空间，而对于矩估计，此类限制并不存在。

但事实上，极大似然估计是更受重视的，也是应用范围更广泛的。具体原因则要涉及到大样本理论。简单来说，矩估计在大样本情况下一般是渐进正态的，极大似然估计在一定的条件下也是渐进正态的，但就估计的渐进效率（可以理解为随样本量增加，估计的精确度增加的程度）而言，极大似然估计有最高的渐进效率，而矩估计除了少数一些情况下，很少能达到最高渐进效率，这也是我们说极大似然估计优于矩估计的原因。