最大似然估计程序c语言,极大似然估计(示例代码)

版权声明:本文为博主原创文章https://极大似然估计

?0?2 ?0?2 ?0?2 ?0?2 以前多次接触过极大似然估计,最近在看贝叶斯分类,总结如下:

贝叶斯决策

?0?2 ?0?2 ?0?2 ?0?2 首先来看贝叶斯分类3354338c9aaa510dc0c4989f43d17d89.png

?0?2 ?0?2 ?0?2 ?0?2 其中:p(w):为先验概率,表示在某种类别前提下,表示某事发生了,有了这个后验概率,说明某事物属于这个类别的可能性越大?0?2 ?0?2 ?0?2 ?0?2 我们来看一个直观的例子:已知:在夏季,女性穿凉鞋的概率为2/3,问题:若你在公园中随机遇到一个穿凉鞋的人?0?2 ?0?2 ?0?2 ?0?2 从问题看,某事发生了?0?2 ?0?2 ?0?2 ?0?2 设:

f8f8cdcb825fd07a492576ee0e0b9f5f.png

?0?2 ?0?2 ?0?2 ?0?2 由已知可得:

59f310ba4ec7029031c10006233a73c5.png

?0?2 ?0?2 ?0?2 ?0?2 男性和女性穿凉鞋相互独立(若只考虑分类问题,的取值并不重要)。

?0?2 ?0?2 ?0?2 ?0?2 由贝叶斯公式算出:

最大似然估计程序c语言,极大似然估计(示例代码)_第1张图片

问题引出

?0?2 ?0?2 ?0?2 ?0?2 但是在实际问题中并不都是这样幸运的,而先验概率

9c54e6020c32bec665a6d906df13845e.png和类条件概率(各类的总体分布)

696a5e296778eb91665ebeeca5d73b3c.png都是未知的。根据仅有的样本数据进行分类时,然后再套用贝叶斯分类器。

?0?2 ?0?2 ?0?2 ?0?2 先验概率的估计较简单?0?2 ?0?2 ?0?2 ?0?2 类条件概率的估计(非常难),把估计完全未知的概率密度

696a5e296778eb91665ebeeca5d73b3c.png转化为估计参数。这里就将概率密度估计问题转化为参数估计问题,概率密度函数的选取很重要,在样本区域无穷时,如果模型都错了,肯定也没啥意义了。

重要前提

?0?2 ?0?2 ?0?2 ?0?2 上面说到?0?2 ?0?2 ?0?2 ?0?2?0?2重要前提:训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量 (iid条件)。

极大似然估计

?0?2 ?0?2 ?0?2 ?0?2 极大似然估计的原理,如下图所示:

最大似然估计程序c语言,极大似然估计(示例代码)_第2张图片

?0?2 ?0?2 ?0?2 ?0?2 总结起来,反推最有可能(最大概率)导致这样结果的参数值。

?0?2 ?0?2 ?0?2 ?0?2 原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,即:“模型已定,观察其结果,则称为极大似然估计。

?0?2 ?0?2 ?0?2 ?0?2 由于样本集中的样本都是独立同分布,来估计参数向量θ。记已知的样本集为:

a3393c0550c7cfbc56b8f3487bff21d7.png

?0?2 ?0?2 ?0?2 ?0?2 似然函数(linkehood function):联合概率密度函数

b8d6c28236c5c9fc0c0919502ffbdd99.png称为相对于

8bf5e30cb984124cefc84c243ec7b25d.png的θ的似然函数。

59d2a66732ac539b0ea19ac3a49388aa.png

?0?2 ?0?2 ?0?2 ?0?2 如果

5635e0e4d51aa6972420d337524ee21e.png是参数空间中能使似然函数

cdb129476856b6d73a10874124ac8a3d.png最大的θ值,那么

5635e0e4d51aa6972420d337524ee21e.png就是θ的极大似然估计量。它是样本集的函数最大似然估计程序c语言,极大似然估计(示例代码)_第3张图片

求解极大似然函数

?0?2 ?0?2 ?0?2 ?0?2 ML估计:求使得出现该组样本的概率最大的θ值。

58e00cd766004390e6d02d1535453acb.png

?0?2?0?2?0?2?0?2?0?2?0?2?0?2?0?2 实际中为了便于分析819339ca3dffbce2f8d918444c8e7a30.png

01e63b81726251af3bf6641c0cd7bcff.png

?0?2 ?0?2 ?0?2 ?0?2 1. 未知参数只有一个(θ为标量)

?0?2 ?0?2 ?0?2 ?0?2 在似然函数满足连续、可微的正则条件下122bf1a6aef96f3bdbcd016d46903840.png

?0?2 ?0?2 ?0?2 ?0?2 2.未知参数有多个(θ为向量)

?0?2 ?0?2 ?0?2 ?0?2 则θ可表示为具有S个分量的未知向量:

6125c33de41e757a0331c5cc7ca946e4.png

?0?2?0?2?0?2?0?2?0?2?0?2?0?2?0?2 记梯度算子:

0ce84cdc556467c67a435fc129b8a3c4.png

?0?2?0?2?0?2?0?2?0?2?0?2?0?2?0?2 若似然函数满足连续可导的条件8076cec3c35d9bb9f62ddc1bc01c5d2a.png

?0?2?0?2?0?2?0?2?0?2?0?2?0?2?0?2 方程的解只是一个估计值,它才会接近于真实值。

极大似然估计的例子

?0?2 ?0?2 ?0?2 ?0?2 例1:设样本服从正态分布

c0c819f5e758e197f9931a49bccd3d0d.png314111bd6666a755d32c95596781a0fb.png

?0?2 ?0?2 ?0?2 ?0?2 它的对数:

9458e3f5aea3f3aa195ee3b926e86a95.png

?0?2 ?0?2 ?0?2 ?0?2 求导最大似然估计程序c语言,极大似然估计(示例代码)_第4张图片

?0?2 ?0?2 ?0?2 ?0?2 联合解得:

最大似然估计程序c语言,极大似然估计(示例代码)_第5张图片

?0?2 ?0?2 ?0?2 ?0?2 似然方程有唯一解

a66a20b64ea97b40fd5346df15bb82ff.png:,这是因为当

c8abe2447730dd381ec0223d1d92e9ad.png

d9de6c444ba2d07a65d83a46e6db719d.png时。于是U和

22b2817fa239cb451cccd6b309e81717.png的极大似然估计为

a66a20b64ea97b40fd5346df15bb82ff.png

?0?2 ?0?2 ?0?2 ?0?2 例2:设样本服从均匀分布[a最大似然估计程序c语言,极大似然估计(示例代码)_第6张图片

?0?2 ?0?2 ?0?2 ?0?2 对样本

05cbafa24b155edda15dd4aa91504286.png

最大似然估计程序c语言,极大似然估计(示例代码)_第7张图片

?0?2 ?0?2 ?0?2 ?0?2 很显然,b)作为a和b的二元函数是不连续的,求L(a,为使L(a,b-a应该尽可能地小,否则,b)=0。类似地a不能大过

77c58d936b36b50598ee91f1bbbd859d.png,a和b的极大似然估计:

dda0e4880202ef395b13e7568197201d.png

总结

?0?2 ?0?2 ?0?2 ?0?2 求最大似然估计量

5635e0e4d51aa6972420d337524ee21e.png的一般步骤:

?0?2 ?0?2 ?0?2 ?0?2 (1)写出似然函数;

?0?2 ?0?2 ?0?2 ?0?2 (2)对似然函数取对数?0?2 ?0?2 ?0?2 ?0?2 (3)求导数;

?0?2 ?0?2 ?0?2 ?0?2 (4)解似然方程。

?0?2 ?0?2 ?0?2 ?0?2 最大似然估计的特点:

?0?2 ?0?2 ?0?2 ?0?2 1.比其他估计方法更加简单;

?0?2 ?0?2 ?0?2 ?0?2 2.收敛性:无偏或者渐近无偏,收敛性质会更好;

?0?2 ?0?2 ?0?2 ?0?2 3.如果假设的类条件概率模型正确,将导致非常差的估计结果。

你可能感兴趣的:(最大似然估计程序c语言)