概率论：参数估计——点估计

首先，我们要知道点估计是什么：

简单来讲，点估计一般就是拿出很多样本来，拿他们的均值和方差之类的当成参数，或者是通过均值和方差计算出他的参数。

简单来说，参数空间就是这个分布的参数可以的取值。

先学习矩估计法：

还记得变量的矩是什么吗？就是E(x^k)。

可以看到，平均数就是总体期望的矩估计（k=1版本的矩）

但这样的方法不一定准确：

下面是总体的评价：

现在我们来学习其他的方法：极大似然估计法：

这是很常见的思想，那要怎么运用到参数估计上来呢？：

看不懂？看例子：

这个问题就是：我知道了F(x)的形式，现在我要求这个参数是多少。现在我把所有的密度函数乘起来，获得了似然方程。现在我要做的就是找到一个参数，使得这个似然方程最大，于是要求导。因为取对数对导数的零点没有影响，所以可以用取对数再求导来规避复杂的运算。

可以看到我这个似然函数有两个参数，那我就分别求导计算。

通用方法是什么？：

我们求导的目的是为了求出怎样的参数可以使似然函数最大，但有的时候求不了导：

这个显然没有办法用求到来求最大值，于是我们选择了返璞归真的做法。

最后是总结：

估计量的评判标准：

现在我们要评价不同方法得出的参数的好坏了。

 首先，无偏性是什么？：

好复杂，无偏估计是什么？：

无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。无偏估计常被应用于测验分数统计中。

现在我们就开始解决问题。

 

无偏性以u,标准差最为典型。有些分布直接以u，标准差作为参数，根据大数定理（也就是矩估计的理论基础）：

 这样可以看到，凡是以矩（也就是参数可以用E(X),E(X^2),E(X^3)之类的）表示的分布，用矩估计是无偏的。同时我们也就知道了为什么当初均匀分布用矩估计不好，它的参数不是矩。

似然函数的解法解释：最大值为Z的概率就是“X1小于Z的概率*X2小于Z的概率····”，于是这就是把大家都乘起来。两边一起求导就得到了最大值为Z的概率密度，也就可以求他的期望是不是正确的参数了。

可以看到我们用极大似然得出的参数，他们的期望是n/(n+1)的真实参数，只要乘n+1/n就可以无偏化。 

有效性：

 

之前我们要求计算出的参数期望要和真实值相同，现在我们还要求方差要小。

 

 

现在学一致性：

 

 

感觉相合性是劣化版的无偏性。