概率论与数理统计学习笔记四：参数估计

1. 数理统计学的基本概念

    1）什么是数理统计学

        a）使用概率论和数学的方法

        b）研究怎样收集（通过试验或观察）带有随机误差的数据

        c）并在设定的模型（统计模型）之下，对这种数据进行分析（称为统计分析）

        d）以对所研究的问题作出推断（统计推断）

        e）统计问题：参数估计和假设检验

    2）总体

        a）定义：与所研究问题有关的对象（个体）的全体所构成的集合。总体随所研究的范围而定

        b）统计总体：赋有一定概率分布的总体

        c）总体概念的要旨：总体就是一个概率分布

        d）两个总体即使其所含个体的性质根本不同，只要有同一的概率分布，则在数理统计学上就视为是同类总体

        e）总体分布是一个概率分布族的一员

        f）非参数总体：总体分布不能通过若干个参数表达出来

        g）有限总体和无限总体

        h）统计总体具有抽象形式，该概念具有普遍性

    3）样本

        a）定义：按一定规则从总体中抽出的一部分个体。所谓“按一定的规定”就是指总体中的每一个个体有同等的被抽出的机会，以及在这个基础上设立的某种附加条件

        b）样本大小（样本容量，样本量）；X1...Xn全体称为一组样本，Xi称为其中的第i个样本

        c）在理论研究中，把样本X1,...Xn看成为一些随机变量

        d）独立随机样本：样本X1，...Xn独立同分布，其公共分布就是总体分布

        e）在有限总体的情况，单由总体的分布不足以完全决定样本的分布如何，要看抽样的方式

    4）统计量

        a）定义：完全由样本所决定的量。它不能依赖于总体分布中所含的未知参数

        b）样本方差：

        c）样本矩：样本原点矩和样本中心距

2. 钜估计、极大似然估计和贝叶斯估计

    1）参数的点估计问题

        a）参数估计问题的一般提法：设有了从总体中抽出的样本（独立随机样本），要基于这些样本去对参数的未知值作出估计。也可以只要求估计这些参数中的一部分，或估计这些参数的某个已知函数

        b）估计量：为上面这样的特定目的而构造的统计量

        c）参数估计的研究内容：估计参数；同一参数往往可用若干个看来都合理的方法去估计，需为估计量的优劣制定准则，进而研究在某种准则下寻找最优估计量的问题

        d）钜估计和极大似然估计估计总体分布的未知参数时所有信息均来自样本，但贝叶斯估计还要求对该待估参数有先验知识和其先验分布

    2）钜估计法

        a）K. 皮尔逊在上世纪末到本世纪初的一系列文章中引进的

        b）钜估计法的思想：总体分布的钜依赖于总体分布的未知参数，在样本大小较大时，总体分布钜接近于样本原点矩，令两者相等可得到一个方程组，解方程组，将方程组的解作为总体分布未知参数的估计，进而可估计依赖于该未知参数的函数值，这样定出的估计量就叫做钜估计

        c）采用钜估计时，并不要求总体分布总有特定的参数形式（凡是被估计对象能直接用钜表达出来时均属该情况）：如估计分布的偏度系数和峰度系数，仅需知道其三阶或四阶钜存在就行

        d）在总体分布已知有某种参数形式时，总体均值方差也可以有比样本均值和方差更好的估计：如估计二项分布B(N,p)中的p

        e）能用低阶钜处理就不用高阶矩

    3）极大似然估计法

        a）极大似然估计的思想始于高斯的误差理论，到1912年有R.A.费歇尔在一篇论文中把它作为一个一般的估计方法提出来

        b）极大似然估计：设总体分布f有k个未知参数，X1,...Xn为从总体中抽出的样本，则似然函数为样本(X1,X2,...Xn)的分布，似然程度取最大值时f中未知参数值取值作为总体分布未知参数的估计值，进而可估计依赖于该未知参数的函数值

        c）求取极大似然估计的方法（2种）：对数求导；极大似然估计的原始定义

        d）极大似然估计要求分布有参数的形式（不同于钜估计）

        e）当钜估计和极大似然估计均失效时，可从待估计参数的意义本身出发考虑

    4）贝叶斯法

        a）贝叶斯法要求：在进行抽样前，对待估的总体分布参数具有先验知识，这种先验知识可用该参数的某种概率分布表达（根据以往的先例和经验或主观认识）

        b）利用贝叶斯法进行参数估计：据总体分布求样本联合密度函数；据该密度函数和待估参数的先验分布求参数和样本的联合密度函数；据参数和样本的联合密度函数求样本的边缘密度；据参数和样本的联合密度函数和样本的边缘密度求待估参数的后验密度（条件密度）；据此后验密度对待估参数做统计推断

        c）贝叶斯学派的一个重要观点：在得出后验分布后，对估计参数的任何统计推断只能基于这个后验分布

        d）待估参数的先验分布为“广义先验密度”：该先验密度函数大于0，但积分可不为1

        e）贝叶斯原则：“同等无知”原则，在确实没有关于待估参数的先验知识时，对该参数的先验分布的估计策略

3. 点估计的优良性准则

    1）概述：

        a）同一参数不同估计量比较的难度：待估参数本身未知，因此估计误差无从得知；不同估计量的值都与样本有关

        b）考虑估计量优劣，需从整体考虑：估计量的某种特性（无偏性）；某种具体的数量指标（均方误差）

        c）参数估计学科研究的中心问题：优良性准则和估计量的优劣比较

    2）估计量的无偏性

        a）无偏估计量的定义

        b）估计量的无偏性有两个含义：没有系统性偏差（无偏估计不等于任何时候都给出正确无误的估计）；若估计有无偏性，则在大量次数使用取平均时，能以100%的把握无限逼近被估计的量

        c）判断一个估计量是否为无偏估计

        d）确定非无偏估计量的调整因子，使其变为无偏估计量

    3）最小方差无偏估计

        a）在众多无偏估计中确定最优估计涉及的问题（2个）：为优良性制定一个准则；在已定的准则之下，如何去找到最优者

        b）均方误差：均方误差 = 估计量的方差（估计量自身变异的程度） + 估计量的系统误差（无偏估计时该项为0）

        c）最小方差无偏估计（MVU估计）

            若局限于无偏估计范围，且采用均方误差的原则，则两个无偏估计的比较归结为其方差的比较，方差小着为优

            比较两无偏估计的优劣

            最小方差无偏估计的定义

        d）求MVU估计的一种方法：克拉美-劳不等式

            费歇尔信息量

            克拉美-劳不等式是瑞典统计学家H.克拉美和印度统计学家C.R.劳在1945-1946各自独立得出

            克拉美-劳不等式：证明；应用（先由直观或其他途径找到一个可能是最好的无偏估计，然后计算其方差，看是否达到了克拉美-劳不等式右端的界限，若达到了就是MVU估计）

    4）估计量的相合性和渐近正态性

        a）相合性：

            定义； 按“依概率收敛”术语解释

            相合性是对一个估计量的最基本要求

            常见的钜估计的相合性都可以基于大数定理得到证明（列子：二阶钜）；极大似然估计在很一般的条件下也有相合性

        b）渐近正态性：理论上可以证明，不只是和多独有的，许多形状复杂的统计量，当样本大小n趋于无穷时，其分布都渐近于正态分布

        c）估计量的相合性和渐近正态性称为估计量的大样本性质：这种性质都是针对样本数量n区域无穷时来谈的，对于固定的n，它们都无意义

        d）估计量的无偏概念是小样本性质：针对固定的样本大小

4. 区间估计

    1）基本概念

        a）先进最流行的一种区间估计理论是原籍波兰的美国统计学家J.奈曼在本世纪30年代建立起来的

        b）参数的区间估计的定义：

            可靠性：参数要以很大的可能性落在该区间内

            精度：估计的精密度要尽可能的高（区间长度尽可能小）

            奈曼提出的原则：先保证可靠度，在这个前提下尽可能使精度提高

        c）区间估计的置信系数

        d）区间的置信水平：置信系数是置信水平中的最大值

        e）区间估计理论的主要问题：（奈曼的原则）在保证给定的置信系数下，寻找有优良精度的区间估计

    2）枢轴变量法

        a）上分位点、下分位点

        b）找区间估计的一般方法

    3）大样本法

        a）利用极限分布，主要是中心极限分布，已建立枢轴变量，近似满足枢轴变量的条件

    4）置信界

        a）置信上界、置信下界

        b）可平移求取区间估计的方法

    5）贝叶斯法