信号处理之最大似然估计（自学整理）

信号处理之最大似然估计（自学整理）

最大似然估计

基本思想：
在对被估计的未知量（或参数）没有任何先验知识的情况下，利用已知的若干观测值估计该参数。

因此，在使用最大似然估计方法时，被估计的参数假定是常数且未知，已知的观测数据则是随机变量。

设随机变量x的N个观测值为

设参数为θ，在给定参数θ情况下观测样本的联合条件概率密度函数为

所以，似然函数就是

最大似然估计就是求

因此，最大似然估计也可以看做是似然函数的全局极大点。

对数似然函数

记为

因此，θ的最大似然估计的优化条件是

在一般条件下，θ是向量参数，公式为

若x1,…,xN是独立的观测样本，则似然函数写作

最终通过公式求解得

最大似然估计性质：
（1）最大似然估计一般不是无偏的，但其偏差可以通过对估计值乘某个合适的常数加以修正；
（2）最大似然估计是一致估计；
（3）最大似然估计给出优效估计，如果它存在的话；
（4）对于大的N，最大似然估计为高斯分布，并且其均值为θ，方差为

参考文献：
[1]《现代信号处理（第三版）》张贤达