你应该掌握的四种参数估计技术

所谓估计

概率学上,对未知的概率密度函数进行估计有两种方法:参数估计和非参数估计。非参数估计是不假定数学模型,直接利用已知类别的学习样本先验知识估计数学模型。常用的方法由直方图方法、神经网络方法、Parzen窗法和 Kn 近邻法。而参数估计则是先假定研究问题具有某种数学模型,如正态分布、二项分布等,再利用已知类别的学习样本,估计模型里的参数。常用的方法有距估计、最大似然估计、最大后验估计和贝叶斯估计。本文主要介绍四种常用的参数估计技术。

参数估计

1. 距估计
用样本矩作为相应总体矩的估计量,而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。用数学公式描述矩估计的过程为:

μ1=μ1(θ1,θ2,...,θk)μ2=μ2(θ1,θ2,...,θk)......μk=μk(θ1,θ2,...,θk)

从中解出参数
θ1=θ1(μ1,μ2,...,μk)θ2=θ2(μ1,μ2,...,μk)......θk=θk(μ1,μ2,...,μk)

其中, θ1,θ2,...,θk 是k个待估参数, μ1,μ2,...,μk 是总体k阶矩。先用已知样本,计算k阶样本矩,公式为:
Al=Ni=1XliN

然后用计算得到的k阶样本矩来作为对总体矩的估计,带入方程得到对应的矩估计:
θ¯l=θi(A1,A2,...,Ak)

2. 最大似然估计(MLE)
样本 X1,X2,...,Xn 来自总体X,总体的概率密度为 P{X=x}=p(x;θ) f(x;θ) 。其中 θΘ 的形式已知, θ 为待估参数。得到其似然函数为:

L(θ)=L(x1,x2,...,xn;θ)=i=1nf(xi;θ)

那么,当 L(x1,x2,...,xn;θ) θΘ 中取得最大值时,即公式描述为:
L(x1,x2,...,xn;θ¯)=maxθΘL(x1,x2,...,xn;θ)

θ¯ 就是 θ 的最大似然估计 θ¯(x1,x2,...,xn) 。在应用中常常采用对数形式给出对数似然方程,在计算中,令 dL(θ)dθ=0 或者 dlogL(θ)dθ=0 ,得到最大值处的 θ 就是最大似然估计。

3. 最大后验估计(MAP)
最大似然估计没有考虑 θ 的概率分布,或者认为 θ 的概率分布在 θΘ 上式均匀分布的。在贝叶斯学派看来, θ 也是随机变量,有着一定的先验概率。因此如果不加以考虑,估计结果会出现较大的误差。最大后验估计的表达式为:

p(θ|x1,x2,...,xn)=p(x1,x2,...,xn|θ)×p(θ)i{p(x1,x2,...,xn|θi)×p(θi)}=L(x1,x2,...,xn|θ)×p(θ)const

公式可以等效为:
=(×)=×

4. 贝叶斯估计
贝叶斯估计也是基于后验概率公式,但引入了损失函数作为判断的标准。贝叶斯估计得一般步骤为

  • 选择先验概率分布,设为 π(θ)
  • 确定似然函数。
  • 确定参数 θ 的后验分布。
  • 选择损失函数。
    引入一个非负函数,记为 loss(θ^,θ) 来刻画参数真实值 θ 与估计值 θ^ 的差距严重程度,称为损失函数。常用的损失函数有:平方误差损失函数
  • 估计参数。
    根据选择的损失函数的期望误差最小值对应的解 θ^ 作为参数的贝叶斯估计值。以平方误差损失函数为例,贝叶斯估计给定X时的条件期望为:
    θ^=E[θ|X]=θp(θ|X)dθ

2015-8-22
艺少

你可能感兴趣的:(机器学习,机器学习杂烩)