【数理统计】学习笔记03:参数的点估计(矩估计和极大似然估计)

前文回顾:统计量的分布、正态总体的抽样分布定理

文章目录

  • 一、基本概念
  • 二、矩估计
    • 2.1 矩估计的定义和求法
    • 2.2 做题技巧
    • 2.3 几个问题
  • 三、极大似然估计
    • 3.1 离散型随机变量极大似然估计量的求法
    • 3.2 连续型随机变量极大似然估计量的求法
    • 3.3 极大似然估计求法的一般步骤
    • 3.4 例题

一、基本概念

  • 参数: 反应总体 X X X 某方面特征的量。
    • 例如:均值、方差、合格率、中位数等。
  • 参数估计: 总体 X X X 分布函数 F ( x , θ ) F(x, \theta) F(x,θ) 形式已知,估计未知参数 θ \theta θ
    • 非参数估计: 总体 X X X 分布未知,对总体分布形态等的推断。
  • 参数估计的形式: 点估计和区间估计。
    • 例如:天气预报
      明天最高温度: 20 ° → 20 \degree\quad\rightarrow\quad 20° 点估计
      明天最高温度: 19 ° ∼ 21 ° → 19\degree \sim 21\degree\quad\rightarrow\quad 19°21° 区间估计
  • 点估计的定义:
    设总体 X X X 的分布函数 F ( x , θ ) F(x, \theta) F(x,θ) 形式已知,含有未知参数 θ \theta θ
    抽取简单随机样本 X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn ( x 1 , ⋯   , x n ) (x_1, \cdots, x_n) (x1,,xn)为一组样本观察值;
    构造合适的统计量 g ( X 1 , ⋯   , X n ) g(X_1, \cdots, X_n) g(X1,,Xn) 作为 θ \theta θ 的估计量,记为 θ ^ = g ( X 1 , X 2 , ⋯   , X n ) \hat \theta = g(X_1, X_2, \cdots, X_n) θ^=g(X1,X2,,Xn) θ ^ = g ( x 1 , x 2 , ⋯   , x n ) \hat \theta = g(x_1, x_2, \cdots, x_n) θ^=g(x1,x2,,xn) θ \theta θ 的估计值。
    • 例如: 总体 X ∼ N ( μ , σ 2 ) X\sim N(\mu, \sigma^2) XN(μ,σ2),要估计期望 μ \mu μ ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,,Xn) ( x 1 , ⋯   , x n ) (x_1, \cdots, x_n) (x1,,xn)
      构造合适的统计量: X ˉ n = 1 n ∑ i = 1 n X i \bar{X}_n=\frac 1n\sum^n_{i=1}X_i Xˉn=n1i=1nXi 由大树定律: X ˉ n ⟶ P μ \bar X_n\overset{P}{\longrightarrow}\mu XˉnPμ
      称样本均数 X ˉ n \bar X_n Xˉn μ \mu μ 的估计量,记为: μ ^ = X ˉ n \hat\mu=\bar X_n μ^=Xˉn μ ^ = x ˉ n \hat\mu=\bar x_n μ^=xˉn μ \mu μ 的估计值。
  • 点估计的一般方法: 矩法、极大似然法。

二、矩估计

2.1 矩估计的定义和求法

总体 X X X 的分布函数 F ( x , θ ) F(x, \theta) F(x,θ),含有 t t t 个未知参数 θ = ( θ 1 , θ 2 , ⋯   , θ t ) \theta=(\theta_1, \theta_2, \cdots, \theta_t) θ=(θ1,θ2,,θt) ( X 1 , X 2 , ⋯   , X n ) (X_1, X_2, \cdots, X_n) (X1,X2,,Xn) 是样本,构造前 t t t 阶样本矩,求出前 t t t 阶总体矩 E X k EX^k EXk:
A k = 1 n ∑ i = 1 n X i k , { E X k = ∑ i = 1 + ∞ x i k p i ,   k = 1 , 2 , ⋯   , t E X k = ∫ − ∞ + ∞ x k f ( x ) d x ,    k = 1 , 2 , ⋯   , t A_k=\frac 1n\sum^n_{i=1}X^k_i, \qquad \begin{cases} EX^k=\sum^{+\infty}_{i=1}x^k_ip_i, \qquad \ k=1, 2,\cdots, t\\ EX^k=\int^{+\infty}_{-\infty}x^kf(x)dx, \; k=1, 2,\cdots, t \end{cases} Ak=n1i=1nXik,{EXk=i=1+xikpi, k=1,2,,tEXk=+xkf(x)dx,k=1,2,,t { A 1 A 2    ⋮ A t ⟶ ( 由 大 数 定 律 ) P { E X = μ 1 ( θ 1 , θ 2 , ⋯   , θ t ) E X 2 = μ 2 ( θ 1 , θ 2 , ⋯   , θ t )      ⋮ E X t = μ t ( θ 1 , θ 2 , ⋯   , θ t ) \begin{cases}A_1\\A_2\\ \; \vdots \\ A_t \end{cases} \overset{P}{\underset{(由大数定律)}{\longrightarrow}} \begin{cases} EX = \mu_1(\theta_1, \theta_2, \cdots, \theta_t)\\ EX^2 = \mu_2(\theta_1, \theta_2, \cdots, \theta_t)\\ \qquad \;\; \vdots \\ EX^t = \mu_t(\theta_1, \theta_2, \cdots, \theta_t) \end{cases} A1A2AtPEX=μ1(θ1,θ2,,θt)EX2=μ2(θ1,θ2,,θt)EXt=μt(θ1,θ2,,θt)令: { A 1 = E X A 2 = E X 2      ⋮ A t = E X t ⇒ { θ ^ 1 = g 1 ( A 1 , A 2 , ⋯   , A t ) θ ^ 2 = g 2 ( A 1 , A 2 , ⋯   , A t )    ⋮ θ ^ t = g t ( A 1 , A 2 , ⋯   , A t ) \begin{cases} A_1=EX \\ A_2=EX^2 \\ \quad\;\;\vdots \\ A_t=EX^t \end{cases} \Rightarrow \begin{cases} \hat \theta_1=g_1(A_1, A_2, \cdots, A_t) \\ \hat \theta_2=g_2(A_1, A_2, \cdots, A_t) \\ \quad\;\vdots \\ \hat \theta_t=g_t(A_1, A_2, \cdots, A_t) \end{cases} A1=EXA2=EX2At=EXtθ^1=g1(A1,A2,,At)θ^2=g2(A1,A2,,At)θ^t=gt(A1,A2,,At)由辛钦大数定律,对总体 X X X A 1 ⟶ P E X A_1\overset{P}{\longrightarrow}EX A1PEX,对总体 X k X^k Xk A k ⟶ P E X k A^k\overset{P}{\longrightarrow}EX^k AkPEXk

例1: 总体 X ∼ U ( a , b ) X\sim U(a, b) XU(a,b) a , b a, b a,b 是未知参数, ( X 1 , ⋯   , X n ) (X_1, \cdots, X_n) (X1,,Xn) 为样本,试估计参数 a , b a, b a,b


解:
{ A 1 ⟶ P E X A 2 ⟶ P E X 2 \begin{cases}A_1\overset{P}{\longrightarrow}EX\\A_2\overset{P}{\longrightarrow}EX^2 \end{cases} A1PEXA2PEX2只要 n n n 足够大,令: { A 1 = E X A 2 = E X 2 ⇒ { A 1 = ( a ^ + b ^ ) / 2 A 2 = ( a ^ 2 + a ^ b ^ + b ^ 2 ) / 3 \begin{cases} A_1=EX\\A_2=EX^2\end{cases}\quad\Rightarrow\quad\begin{cases} A_1=(\hat a+\hat b)/2 \\ A_2=(\hat a^2+\hat a\hat b+\hat b^2)/3 \end{cases} {A1=EXA2=EX2{A1=(a^+b^)/2A2=(a^2+a^b^+b^2)/3解得: { a ^ = X ˉ − 3 n ∑ i = 1 n ( X i − X ˉ ) 2 b ^ = X ˉ + 3 n ∑ i = 1 n ( X i − X ˉ ) 2 \begin{cases} \hat a=\bar X-\sqrt{\frac 3n\sum^n_{i=1}(X_i-\bar X)^2} \\ \hat b=\bar X+\sqrt{\frac 3n\sum^n_{i=1}(X_i-\bar X)^2} \end{cases} a^=Xˉn3i=1n(XiXˉ)2 b^=Xˉ+n3i=1n(XiXˉ)2


其中:

  1. E X 2 = D X + ( E X ) 2 = ( a 2 + a b + b 2 ) / 3 EX^2=DX+(EX)^2=(a^2+ab+b^2)/3 EX2=DX+(EX)2=(a2+ab+b2)/3
  2. 辛钦大数定律:总体 X 2 X^2 X2,期望 E X 2 EX^2 EX2 ( X 1 2 , ⋯   , X n 2 ) (X^2_1, \cdots, X^2_n) (X12,,Xn2) 为样本,样本均数 1 n ∑ i = 1 n X i 2 = A 2 ⟶ P E X 2 \frac 1n\sum^n_{i=1}X^2_i=A_2\overset{P}{\longrightarrow}EX^2 n1i=1nXi2=A2PEX2

2.2 做题技巧

一般地,总体 X X X 的分布函数 F ( x , θ ) F(x, \theta) F(x,θ) 含有1到2个未知参数 θ = ( θ 1 , θ 2 ) \theta=(\theta_1, \theta_2) θ=(θ1,θ2)。构造 A 1 , A 2 A_1, A_2 A1,A2,令 E X = A 1 , E X 2 = A 2 EX=A_1, EX^2=A_2 EX=A1,EX2=A2;或者构造 A 1 , B 2 A_1, B_2 A1,B2,令 E X = A 1 , D X = B 2 EX=A_1, DX=B_2 EX=A1,DX=B2
B 2 = 1 n ∑ i = 1 n ( X i − X ˉ ) 2 = 1 n ∑ i = 1 n ( X i 2 − 2 X ˉ X i + X ˉ 2 ) = 1 n ∑ i = 1 n X i 2 − 2 X ˉ 1 n ∑ i = 1 n X i + X ˉ 2 = 1 n ∑ i = 1 n X i 2 − X ˉ 2 = A 2 − A 1 2 ⟶ P E X 2 − ( E X ) 2 = D X \begin{aligned} B_2&=\frac 1n\sum^n_{i=1}(X_i-\bar X)^2=\frac 1n\sum^n_{i=1}(X^2_i-2\bar X X_i + \bar X^2) \\ &=\frac 1n\sum^n_{i=1}X^2_i-2\bar X\frac 1n\sum^n_{i=1}X_i+\bar X^2 =\frac 1n\sum^n_{i=1}X^2_i-\bar X^2 \\ &=A_2-A_1^2 \overset{P}{\longrightarrow}EX^2-(EX)^2=DX \end{aligned} B2=n1i=1n(XiXˉ)2=n1i=1n(Xi22XˉXi+Xˉ2)=n1i=1nXi22Xˉn1i=1nXi+Xˉ2=n1i=1nXi2Xˉ2=A2A12PEX2(EX)2=DX矩估计的结果不唯一:
E X ≠ 0 EX \neq 0 EX=0 时两种方法估计结果一致,当 E X = 0 EX = 0 EX=0 时两种方法估计结果不一致。

顺延:
当某个统计量的值为0时,需顺延使用更高阶的统计量。
例如,当 E X = 0 EX=0 EX=0 时,我们使用 A 2 = E X 2 A_2 = EX^2 A2=EX2 来代替 A 1 = E X A_1=EX A1=EX

例2: 总体 X ∼ B ( 1 , p ) X\sim B(1, p) XB(1,p),求 p p p 的矩估计。


解: E X = p EX = p EX=p
构造样本均数 X ˉ n \bar X_n Xˉn,令 X ˉ n = E X \bar X_n=EX Xˉn=EX
解得: p ^ 矩 = X ˉ n = n A / n \hat p_{\text{矩}}=\bar X_n = n_A/n p^=Xˉn=nA/n

例2应用: 估计一个池塘里有多少条鱼?


解: 设池塘中鱼的数目为 n n n
从池塘中随机捞取 k k k 条鱼,做上记号放回去,记号率: k / n k/n k/n
再从池塘中随机抽取 m m m 条鱼,有记号的鱼的条数为 k 1 k_1 k1,样本记号率: k 1 / m k_1/m k1/m
k / n = k 1 / m k/n=k_1/m k/n=k1/m
解得 n ^ = k m k 1 \hat n=\frac{km}{k_1} n^=k1km

例3: 总体 X ∼ B ( n , p ) X\sim B(n, p) XB(n,p) ( X 1 , ⋯   , X m ) (X_1, \cdots, X_m) (X1,,Xm) 为样本,求 n , p n, p n,p 的矩估计。


解:
E X = n p , E X 2 = D X + ( E X ) 2 = n p ( 1 − p ) + ( n p ) 2 EX=np, \quad EX^2=DX+(EX)^2=np(1-p)+(np)^2 EX=np,EX2=DX+(EX)2=np(1p)+(np)2构造样本均数 X ˉ m \bar X_m Xˉm A 2 A_2 A2,令 X ˉ m = E X \bar X_m=EX Xˉm=EX A 2 = E X 2 A_2=EX^2 A2=EX2,得:
{ X ˉ m = n ^ p ^ A 2 = n ^ p ^ ( 1 − p ^ ) + ( n ^ p ^ ) 2 \begin{cases}\bar X_m=\hat n\hat p\\ A_2=\hat n\hat p(1-\hat p)+(\hat n \hat p)^2 \end{cases} {Xˉm=n^p^A2=n^p^(1p^)+(n^p^)2解得: n ^ = X ˉ m 2 X ˉ m 2 + X ˉ m − A 2 ; p ^ = X ˉ m 2 + X ˉ m − A 2 X ˉ m \hat n=\frac{\bar X_m^2}{\bar X^2_m+\bar X_m-A_2}; \qquad \hat p=\frac{\bar X^2_m+\bar X_m-A_2}{\bar X_m} n^=Xˉm2+XˉmA2Xˉm2;p^=XˉmXˉm2+XˉmA2


也可以构造样本均数 X ˉ m \bar X_m Xˉm B 2 B_2 B2,令 X ˉ m = E X , B 2 = D X \bar X_m=EX, B_2=DX Xˉm=EX,B2=DX 得: { X ˉ m = n ^ p ^ B 2 = n ^ p ^ ( 1 − p ^ ) \begin{cases} \bar X_m=\hat n \hat p\\ B_2=\hat n \hat p(1-\hat p) \end{cases} {Xˉm=n^p^B2=n^p^(1p^)解得:
n ^ = X ˉ m 2 X ˉ m − B 2 ; p ^ = X ^ m − B 2 X ˉ m \hat n=\frac{\bar X_m^2}{\bar X_m-B_2}; \qquad \hat p=\frac{\hat X_m-B_2}{\bar X_m} n^=XˉmB2Xˉm2;p^=XˉmX^mB2

例4:
f ( x , θ ) = { ( θ + 1 ) x θ , 0 < x < 1 0 ,    其 他 f(x,\theta)=\begin{cases}(\theta+1)x^{\theta}, \quad 0f(x,θ)={(θ+1)xθ,0<x<10, X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本,求 θ \theta θ 矩估计量。
若已获得 n = 10 n=10 n=10 的样本值如下: 0.32 , 0.54 , 0.78 , 0.01 , 0.83 , 0.46 , 0.57 , 0.66 , 0.87 , 0.91 0.32, 0.54, 0.78, 0.01, 0.83, 0.46, 0.57, 0.66, 0.87, 0.91 0.32,0.54,0.78,0.01,0.83,0.46,0.57,0.66,0.87,0.91,求 θ \theta θ 的矩估计值。


解:
E X = ∫ 0 1 x ( 1 + θ ) x θ d x = θ + 1 θ + 2 x θ + 2 ∣ 0 1 = θ + 1 θ + 2 EX=\int_0^1x(1+\theta)x^{\theta}dx=\frac{\theta+1}{\theta+2}x^{\theta+2}\big|_0^1=\frac{\theta+1}{\theta+2} EX=01x(1+θ)xθdx=θ+2θ+1xθ+201=θ+2θ+1
X ˉ = E X \bar X=EX Xˉ=EX X ˉ = θ + 1 θ + 2 \bar X = \frac{\theta+1}{\theta+2} Xˉ=θ+2θ+1解得 θ ^ = 1 − 2 X ˉ X ˉ − 1 = 1 − 2 × 0.595 0.595 − 1 = 0.469 \hat \theta=\frac{1-2\bar X}{\bar X-1}=\frac{1-2\times0.595}{0.595-1}=0.469 θ^=Xˉ112Xˉ=0.595112×0.595=0.469

2.3 几个问题

  1. 大样本精确,小样本不可用。
  2. A k = E X k A_k=EX^k Ak=EXk,或者 B k = E ( X − E X ) k B_k=E(X-EX)^k Bk=E(XEX)k,阶数要相同。
  3. 使用前 K K K 阶矩,如果有前 K K K 阶矩为零或已知常数,顺延。
  4. 矩估计缺点:必须总体矩存在,且浪费了分布的信息。

三、极大似然估计

3.1 离散型随机变量极大似然估计量的求法

  • 总体 X ∼ p ( x , θ ) , θ ∈ Θ X\sim p(x, \theta), \theta \in \Theta Xp(x,θ),θΘ θ \theta θ 是未知参数。 X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本, x 1 , ⋯   , x n x_1, \cdots, x_n x1,,xn 为样本观察值,事件 ( X 1 = x 1 , ⋯   , X 2 = x 2 ) (X_1=x_1, \cdots, X_2=x_2) (X1=x1,,X2=x2) 发生的概率为:
    • 似然函数: L ( θ ) = P ( X 1 = x 1 , X 2 = x 2 , ⋯   , X n = x n ) = ∏ i = 1 n p ( x i ; θ ) L(\theta)=P(X_1=x_1, X_2=x_2, \cdots, X_n=x_n)=\prod_{i=1}^np(x_i; \theta) L(θ)=P(X1=x1,X2=x2,,Xn=xn)=i=1np(xi;θ)
  • 极大似然原理: L { θ ^ ( x 1 , ⋯   , x n ) } = m a x θ ∈ Θ L ( θ ) L\{\hat\theta(x_1, \cdots, x_n)\}=\underset{\theta\in\Theta}{max}L(\theta) L{θ^(x1,,xn)}=θΘmaxL(θ)
    • θ ^ ( x 1 , ⋯   , x n ) \hat\theta(x_1, \cdots, x_n) θ^(x1,,xn) 称为 θ \theta θ 的极大似然估计值。
    • θ ^ ( X 1 , ⋯   , X n ) \hat\theta(X_1, \cdots, X_n) θ^(X1,,Xn) 称为 θ \theta θ 的极大似然估计量(MLE)。
  • 似然函数 L ( θ ) L(\theta) L(θ) 是样本值点 ( x 1 , ⋯   , x n ) (x_1, \cdots, x_n) (x1,,xn) 的概率,同时是未知参数 θ \theta θ 的函数, ( x 1 , ⋯   , x n ) (x_1, \cdots, x_n) (x1,,xn) 在一次抽样下发生,求 L ( θ ) L(\theta) L(θ) 的最大值。

例1: 总体 X ∼ B ( 1 , p ) X\sim B(1, p) XB(1,p) 分布,抽样得 ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0),求 p p p 的估计值。


解: p ^ 矩 = 3 / 5 \hat p_{\text{矩}}=3/5 p^=3/5
既然 ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 再一次抽样下发生,则有理由认为 ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 发生的概率应该最大,事件 ( 1 , 0 , 1 , 1 , 0 ) (1, 0, 1, 1, 0) (1,0,1,1,0) 发生的概率为:
P ( X 1 = 1 , X 2 = 0 , X 3 = 1 , X 4 = 1 , X 5 = 0 ) = P ( X 1 = 1 ) P ( X 2 = 0 ) P ( X 3 = 1 ) P ( X 4 = 1 ) P ( X 5 = 0 ) = p 3 ( 1 − p ) 2 \begin{aligned}&P(X_1=1, X_2=0, X_3=1, X_4=1, X_5=0)\\ =&P(X_1=1)P(X_2=0)P(X_3=1)P(X_4=1)P(X_5=0)\\ =&p^3(1-p)^2 \end{aligned} ==P(X1=1,X2=0,X3=1,X4=1,X5=0)P(X1=1)P(X2=0)P(X3=1)P(X4=1)P(X5=0)p3(1p)2 L ( p ) = p 3 ( 1 − p ) 2 L(p)=p^3(1-p)^2 L(p)=p3(1p)2,求 L ( p ) L(p) L(p) 的极大值:
d L ( p ) d p = 0 \frac{dL(p)}{dp}=0 dpdL(p)=0,解得 p ^ M = 3 / 5 \hat p_M=3/5 p^M=3/5

3.2 连续型随机变量极大似然估计量的求法

  • 总体 X X X 的密度函数 f ( x ; θ ) , θ ∈ Θ f(x; \theta), \theta\in\Theta f(x;θ),θΘ θ \theta θ 是未知参数。 X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本, x 1 , ⋯   , x n x_1, \cdots, x_n x1,,xn 为样本观察值,事件 ( X 1 = x 1 , ⋯   , X 2 = x 2 ) (X_1=x_1, \cdots, X_2=x_2) (X1=x1,,X2=x2) 发生的概率为: ∏ i = 1 n P ( x i < X < x i + Δ x i ) ≈ ∏ i = 1 n f ( x i ; θ ) Δ x i Δ x i  与  θ  无关 \prod_{i=1}^nP(x_ii=1nP(xi<X<xi+Δxi)i=1nf(xi;θ)ΔxiΔxi  θ 无关因此:
    • 似然函数: L ( θ ) = ∏ i = 1 n f ( x i ; θ ) L(\theta)=\prod_{i=1}^nf(x_i; \theta) L(θ)=i=1nf(xi;θ)
    • 极大似然原理: L { θ ^ ( x 1 , ⋯   , x n ) } = m a x θ ∈ Θ L ( θ ) L\{\hat\theta(x_1, \cdots, x_n)\}=\underset{\theta\in\Theta}{max}L(\theta) L{θ^(x1,,xn)}=θΘmaxL(θ)

3.3 极大似然估计求法的一般步骤

  1. 建立似然函数: L ( θ ) = ∏ i = 1 n p ( x i ; θ ) L(\theta)=\prod_{i=1}^np(x_i; \theta) L(θ)=i=1np(xi;θ)
    • P ( X 1 = x 1 , ⋯   , X n = x n ) = P ( X 1 = x 1 ) ⋯ P ( X n = x n ) P(X_1=x_1, \cdots, X_n=x_n)=P(X_1=x_1)\cdots P(X_n=x_n) P(X1=x1,,Xn=xn)=P(X1=x1)P(Xn=xn)
    • f ( x 1 , x 2 , ⋯   , x n ) = f ( x 1 ) ⋯ f ( x n ) f(x_1, x_2, \cdots, x_n)=f(x_1)\cdots f(x_n) f(x1,x2,,xn)=f(x1)f(xn)
  2. 对数似然函数: ln ⁡ L ( θ ) = ln ⁡ ∏ i = 1 n p ( x i ; θ ) = ∑ i = 1 n ln ⁡ p ( x i ; θ ) \ln L(\theta)=\ln\prod_{i=1}^np(x_i; \theta)=\sum_{i=1}^n\ln p(x_i; \theta) lnL(θ)=lni=1np(xi;θ)=i=1nlnp(xi;θ)
  3. 求极大值: ∂ ln ⁡ { L ( θ ) } ∂ θ i ∣ θ = θ ^ = 0 { θ = ( θ 1 , ⋯   , θ k )  未知参数不止一个 } \frac{\partial\ln\{L(\theta)\}}{\partial \theta_i}\bigg|_{\theta=\hat\theta}=0 \qquad \{\theta=(\theta_1, \cdots, \theta_k)\text{ 未知参数不止一个}\} θiln{L(θ)}θ=θ^=0{θ=(θ1,,θk) 未知参数不止一个}
  • L ( θ ) L(\theta) L(θ) 关于某个参数 θ i \theta_i θi 是单调增(减)函数,则求导数无解, θ i \theta_i θi 的极大似然估计为 θ i \theta_i θi 的最大(小)值(顺序统计量)。
  • θ ^ \hat \theta θ^ θ \theta θ 的极大似然估计,则 g ( θ ^ ) g(\hat\theta) g(θ^) g ( θ ) g(\theta) g(θ) 的极大似然估计。

3.4 例题

例2: 总体 X ∼ B ( 1 , p ) X\sim B(1, p) XB(1,p) X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本,求 p p p 的极大似然估计量。


解: P ( X = k ) = p k ( 1 − p ) 1 − k , k = 0 , 1 P(X=k)=p^k(1-p)^{1-k},\qquad k=0, 1 P(X=k)=pk(1p)1k,k=0,1似然函数: L ( p ) = ∏ i = 1 n p x i ( 1 − p ) 1 − x i = p ∑ i = 1 n x i ( 1 − p ) n − ∑ i = 1 n x i L(p)=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}=p^{\sum_{i=1}^nx_i}(1-p)^{n-\sum_{i=1}^nx_i} L(p)=i=1npxi(1p)1xi=pi=1nxi(1p)ni=1nxi对数似然函数: ln ⁡ L ( p ) = ∑ i = 1 n x i ln ⁡ p + ( n − ∑ i = 1 n x i ) ln ⁡ ( 1 − p ) \ln L(p)=\sum_{i=1}^nx_i\ln p + (n-\sum_{i=1}^nx_i)\ln (1-p) lnL(p)=i=1nxilnp+(ni=1nxi)ln(1p) d ln ⁡ { L ( p ) } d p = 1 p ^ ∑ i = 1 n x i − 1 1 − p ^ ( n − ∑ i = 1 n x i ) = 0 \frac{d\ln\{L(p)\}}{dp}=\frac 1{\hat p}\sum_{i=1}^nx_i-\frac 1{1-\hat p} (n-\sum_{i=1}^nx_i)=0 dpdln{L(p)}=p^1i=1nxi1p^1(ni=1nxi)=0解得:
p ^ 极大 = X ˉ = n A n \hat p_{\text{极大}}=\bar X=\frac{n_A}{n} p^极大=Xˉ=nnA此外: p ^ 矩 = X ˉ \hat p_{\text{矩}}=\bar X p^=Xˉ

例6: 总体 X ∼ [ 1 2 3 θ 2 2 θ ( 1 − θ ) ( 1 − θ ) 2 ] X\sim \begin{bmatrix}1 & 2 & 3 \\ \theta^2 & 2\theta(1-\theta) & (1-\theta)^2\end{bmatrix} X[1θ222θ(1θ)3(1θ)2],抽得样本值为 ( 1 , 2 , 1 ) (1, 2, 1) (1,2,1),求 θ \theta θ 的极大似然估计值。


解:
L ( θ ) = P ( X 1 = 1 , X 2 = 2 , X 3 = 1 ) = P ( X 1 = 1 ) P ( X 2 = 2 ) P ( X 3 = 1 ) = θ 2    2 θ ( 1 − θ )    θ 2 = 2 θ 5 − 2 θ 6 \begin{aligned}L(\theta)&=P(X_1=1, X_2=2, X_3=1) \\ &=P(X_1=1)P(X_2=2)P(X_3=1) \\ &=\theta^2\; 2\theta(1-\theta)\;\theta^2 \\ &=2\theta^5-2\theta^6 \end{aligned} L(θ)=P(X1=1,X2=2,X3=1)=P(X1=1)P(X2=2)P(X3=1)=θ22θ(1θ)θ2=2θ52θ6
d ln ⁡ { L ( θ ) } d θ = 10 θ ^ 4 − 12 θ ^ 5 = 0 \frac{d\ln\{L(\theta)\}}{d\theta}=10\hat\theta^4-12\hat\theta^5=0 dθdln{L(θ)}=10θ^412θ^5=0解得
θ ^ = 5 6 \hat\theta=\frac 56 θ^=65

例7: 总体 X ∼ E ( λ ) X\sim E(\lambda) XE(λ) X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本,求 λ \lambda λ 的极大似然估计和矩估计量。


解:
(1) 矩估计
\qquad E X = 1 / λ EX=1/\lambda EX=1/λ
\qquad X ˉ n = E X \bar X_n=EX Xˉn=EX
\qquad 解得: λ ^ 矩 = 1 / X ˉ \hat\lambda_{\text{矩}}=1/\bar X λ^=1/Xˉ
(2) 极大似然估计
L ( λ ) = ∏ i = 1 n λ e − λ x i = λ n e − λ ∑ i = 1 n x i L(\lambda)=\prod_{i=1}^n\lambda e^{-\lambda x_i}=\lambda^ne^{-\lambda\sum_{i=1}^nx_i} L(λ)=i=1nλeλxi=λneλi=1nxi ln ⁡ L ( λ ) = n ln ⁡ λ − λ ∑ i = 1 n x i \ln L(\lambda)=n\ln\lambda-\lambda\sum_{i=1}^nx_i lnL(λ)=nlnλλi=1nxi d ln ⁡ L ( λ ) d λ = n λ ^ ∑ i = 1 n x i = 0 \frac{d\ln L(\lambda)}{d\lambda}=\frac{n}{\hat\lambda}\sum_{i=1}^nx_i=0 dλdlnL(λ)=λ^ni=1nxi=0解得 λ ^ 极大 = 1 X ˉ \hat\lambda_{\text{极大}}=\frac 1{\bar X} λ^极大=Xˉ1

  • θ ^ \hat \theta θ^ θ \theta θ 的极大似然估计,则 g ( θ ^ ) g(\hat\theta) g(θ^) g ( θ ) g(\theta) g(θ) 的极大似然估计。

例8: 总体 X ∼ N ( μ , σ 2 ) X\sim N(\mu, \sigma^2) XN(μ,σ2) X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本,求 μ , σ \mu, \sigma μ,σ 的极大似然估计量。


解: L ( μ , σ 2 ) = ∏ i = 1 n 1 2 π σ e − ( x i − μ ) 2 2 σ 2 = ( 2 π ) − n ( σ 2 ) − n 2 e − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 L(\mu, \sigma^2)=\prod_{i=1}^n\frac 1{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}=(\sqrt{2\pi})^{-n}(\sigma^2)^{-\frac n2}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2} L(μ,σ2)=i=1n2π σ1e2σ2(xiμ)2=(2π )n(σ2)2ne2σ21i=1n(xiμ)2 ln ⁡ L ( μ , σ 2 ) = − n ln ⁡ 2 π − n 2 ln ⁡ σ 2 − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 \ln L(\mu, \sigma^2)=-n\ln \sqrt{2\pi}-\frac n2\ln\sigma^2-\frac 1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2 lnL(μ,σ2)=nln2π 2nlnσ22σ21i=1n(xiμ)2 { ∂ { ln ⁡ L ( μ , σ 2 ) } ∂ μ = 2 2 σ 2 ∑ i = 1 n ( x i − μ ^ ) 2 = 0 ⇒ ∑ i = 1 n x i − n μ ^ = 0 ∂ { ln ⁡ L ( μ , σ 2 ) } ∂ σ 2 = − n 2 σ ^ 2 + 1 2 σ ^ 4 ∑ i = 1 n ( x i − μ ) 2 = 0 \begin{cases} \frac {\partial\{\ln L(\mu, \sigma^2)\}}{\partial \mu}=\frac 2{2\sigma^2}\sum_{i=1}^n(x_i-\hat\mu)^2=0 \quad\Rightarrow\quad \sum_{i=1}^nx_i-n\hat\mu=0 \\ \frac{\partial\{\ln L(\mu, \sigma^2)\}}{\partial\sigma^2}=-\frac n{2\hat\sigma^2}+\frac 1{2\hat\sigma^4}\sum_{i=1}^n(x_i-\mu)^2=0 \end{cases} {μ{lnL(μ,σ2)}=2σ22i=1n(xiμ^)2=0i=1nxinμ^=0σ2{lnL(μ,σ2)}=2σ^2n+2σ^41i=1n(xiμ)2=0解得: { μ ^ 极大 = X ˉ σ ^ 极大 2 = B 2 \begin{cases} \hat\mu_{\text{极大}}=\bar X \\ \hat\sigma^2_{\text{极大}}=B_2 \end{cases} {μ^极大=Xˉσ^极大2=B2 σ ^ 极 大 = σ ^ 2 = B 2 \hat\sigma_{极大}=\sqrt{\hat\sigma^2}=\sqrt{B_2} σ^=σ^2 =B2

  • L ( θ ) L(\theta) L(θ) 关于某个参数 θ i \theta_i θi 是单调增(减)函数,则求导数无解, θ i \theta_i θi 的极大似然估计为 θ i \theta_i θi 的最大(小)值(顺序统计量)。

例10: 总体 X ∼ U ( a , b ) X\sim U(a, b) XU(a,b) X 1 , ⋯   , X n X_1, \cdots, X_n X1,,Xn 是样本,
(1)求 a , b a, b a,b 的极大似然估计量。
(2)求 E X EX EX 的极大似然估计量。
(3)若已获得 n = 5 n=5 n=5 的样本值: 0.31 , 0.42 , 0.61 , 0.83 , 0.02 0.31, 0.42, 0.61, 0.83, 0.02 0.31,0.42,0.61,0.83,0.02,求 a , b , E X a, b, EX a,b,EX 的极大似然估计值。


解:(1)
L ( a , b ) = ∏ i = 1 n 1 b − a = ( b − a ) − n L(a, b)=\prod_{i=1}^n\frac 1{b-a}=(b-a)^{-n} L(a,b)=i=1nba1=(ba)n ∂ L ( a , b ) ∂ a = 0 ; ∂ L ( a , b ) ∂ b = 0 \frac{\partial L(a, b)}{\partial a}=0;\qquad \frac{\partial L(a, b)}{\partial b}=0 aL(a,b)=0;bL(a,b)=0此时,我们发现这样的方程组无解或者参数消失
极大似然估计的原理是似然函数取最大值:
本题中,若要 L ( a , b ) L(a, b) L(a,b) 取极大值,则 b − a b-a ba 要取极小值。由于: a ≤ ( X 1 , X 2 , ⋯   , X n ) ≤ b ⇒ a ≤ X ( 1 ) ≤ X ( 2 ) ≤ ⋯ ≤ X ( n ) ≤ b a\leq(X_1, X_2, \cdots, X_n)\leq b\quad \Rightarrow \quad a\leq X_{(1)} \leq X_{(2)} \leq\cdots\leq X_{(n)} \leq b a(X1,X2,,Xn)baX(1)X(2)X(n)b a ^ 极大 = X ( 1 ) , b ^ 极大 = X ( n ) \hat a_{\text{极大}}=X_{(1)}, \qquad \hat b_{\text{极大}}=X_{(n)} a^极大=X(1),b^极大=X(n)(2)
由于 E X = a + b 2 EX=\frac{a+b}2 EX=2a+b
E ( X ) ^ = a ^ + b ^ 2 = X ( 1 ) + X ( 2 ) 2 \hat {E(X)}=\frac{\hat a+\hat b}2=\frac{X_{(1)}+X_{(2)}}2 E(X)^=2a^+b^=2X(1)+X(2)(3)
{ a ^ = x ( 1 ) = 0.02 b ^ = x ( 5 ) = 0.83 E ( X ) ^ = x ( 1 ) + x ( 5 ) 2 = 0.02 + 0.83 2 = 0.425 \begin{cases} \hat a=x_{(1)}=0.02 \\ \hat b=x_{(5)}=0.83 \\ \hat{E(X)}=\frac{x_{(1)}+x_{(5)}}2=\frac{0.02+0.83}2=0.425 \end{cases} a^=x(1)=0.02b^=x(5)=0.83E(X)^=2x(1)+x(5)=20.02+0.83=0.425

下一篇:【数理统计】学习笔记04:点估计的优良性及其评选标准

你可能感兴趣的:(#,数理统计,专业与数学基础,学习,概率论)