常用概率分布的最大似然估计与矩估计及优良性比较
常用概率分布的最大似然估计与矩估计及优良性比较
- 一、点估计、最大似然估计与矩估计
- 二、离散型随机变量的分布
- 1、伯努利分布/两点分布(Bernoulli distribution)
- 2、二项分布(Binomial distribution)
- 3、几何分布(Geometric distribution)
- 4、负二项分布(Negative binomial distribution)
- 5、泊松分布(Poisson distribution)
- 三、连续型随机变量的分布
一、点估计、最大似然估计与矩估计
总体的定义是某一个问题的研究对象的全体。总体的每个成员称为个体。从总体中随机抽查一个个体，这个个体的某个数量指标X是一个随机变量。这样，对总体的某个数量指标的研究就转变到了对随机变量X的分布和数字特征的研究。
设T是一个n元函数，则样本 X 1 , X 2 , X 3 , . . . , X n X_1,X_2,X_3,...,X_n X1,X2,X3,...,Xn的函数 T ( X 1 , X 2 , X 3 , . . . , X n ) T(X_1,X_2,X_3,...,X_n) T(X1,X2,X3,...,Xn)也是随机变量，称为统计量。统计量的自变量必须都来自样本而不包含任何其他未知的量，特别是总体分布的参数。
如果总体X有某一形式的分布，分布依赖于未知参数 θ ( θ = ( θ 1 , θ 2 , θ 3 , . . . , θ n ) ) \theta(\theta=(\theta_1,\theta_2,\theta_3,...,\theta_n)) θ(θ=(θ1,θ2,θ3,...,θn))， θ \theta θ的取值范围为集合 Θ \Theta Θ,则集合 Θ \Theta Θ称为参数空间。
如果取统计量 θ ^ = θ ^ ( X 1 , X 2 , X 3 , . . . , X n ) \hat{\theta}=\hat{\theta}(X_1,X_2,X_3,...,X_n) θ^=θ^(X1,X2,X3,...,Xn)或它的值 θ ^ = θ ^ ( x 1 , x 2 , x 3 , . . . , x n ) \hat{\theta}=\hat{\theta}(x_1,x_2,x_3,...,x_n) θ^=θ^(x1,x2,x3,...,xn)作为未知参数 θ \theta θ的估计，则称 θ ^ = θ ^ ( X 1 , X 2 , X 3 , . . . , X n ) \hat{\theta}=\hat{\theta}(X_1,X_2,X_3,...,X_n) θ^=θ^(X1,X2,X3,...,Xn)是 θ \theta θ的估计量， θ ^ = θ ^ ( x 1 , x 2 , x 3 , . . . , x n ) \hat{\theta}=\hat{\theta}(x_1,x_2,x_3,...,x_n) θ^=θ^(x1,x2,x3,...,xn)是 θ \theta θ的估计值。
设 总 体 X 的 密 度 函 数 或 概 率 质 量 函 数 为 p ( x ; θ ) , θ ∈ Θ 为 未 知 参 数 ， 设总体X的密度函数或概率质量函数为p(x;\theta),\theta \in \Theta 为未知参数， 设总体X的密度函数或概率质量函数为p(x;θ),θ∈Θ为未知参数，
X 1 , X 2 , X 3 , . . . , X n 为 来 自 总 体 的 样 本 ， 其 观 察 值 为 x 1 , x 2 , x 3 , . . . , x n X_1,X_2,X_3,...,X_n为来自总体的样本，其观察值为x_1,x_2,x_3,...,x_n X1,X2,X3,...,Xn为来自总体的样本，其观察值为x1,x2,x3,...,xn
令 L = L ( x 1 , x 2 , x 3 , . . . , x n ; θ ) = ∏ i = 1 n p ( x i , θ ) 令L=L(x_1,x_2,x_3,...,x_n;\theta)=\prod_{i=1}^{n}p(x_i,\theta) 令L=L(x1,x2,x3,...,xn;θ)=i=1∏np(xi,θ)
当 θ 固 定 时 ， 作 为 x 1 , x 2 , x 3 , . . . , x n 的 函 数 ， L 就 是 随 机 向 量 ( X 1 , X 2 , X 3 , . . . , X n ) 的 密 度 函 数 当\theta固定时，作为x_1,x_2,x_3,...,x_n的函数，L就是随机向量(X_1,X_2,X_3,...,X_n)的密度函数 当θ固定时，作为x1,x2,x3,...,xn的函数，L就是随机向量(X1,X2,X3,...,Xn)的密度函数
当 x 1 , x 2 , x 3 , . . . , x n 固 定 时 ， 作 为 θ 的 函 数 ， 称 L 为 ( x 1 , x 2 , x 3 , . . . , x n ) 的 似 然 函 数 当x_1,x_2,x_3,...,x_n固定时，作为\theta的函数，称L为(x_1,x_2,x_3,...,x_n)的似然函数 当x1,x2,x3,...,xn固定时，作为θ的函数，称L为(x1,x2,x3,...,xn)的似然函数
如 果 似 然 函 数 L = L ( x 1 , x 2 , x 3 , . . . , x n ; θ ) 在 θ = θ ^ 达 到 最 大 值 ， 则 称 θ ^ 是 参 数 θ 的 最 大 似 然 估 计 如果似然函数L=L(x_1,x_2,x_3,...,x_n;\theta)在\theta=\hat{\theta}达到最大值，则称\hat{\theta}是参数\theta的最大似然估计 如果似然函数L=L(x1,x2,x3,...,xn;θ)在θ=θ^达到最大值，则称θ^是参数θ的最大似然估计
而将随机变量X的总体矩表示为其分布参数的函数，再将参数表示为总体矩的函数，最后用样本矩代替这个函数中的总体矩而得到参数的估计，这样的点估计称为矩估计