文章目录
-
- 一、什么是极大似然估计?
- 二、极大似然原理及数学表示
- 三、极大似然估计法(Maximum Likelihood Estimation,MLE)
- 四、 极大似然估计法求估计值的步骤:
- 五、极大似然估计法应用
- 六、总结
一、什么是极大似然估计?
1.首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:
![机器学习之极大似然估计_第1张图片](http://img.e-com-net.com/image/info8/94d5e165791146c8896879efbdac06f9.jpg)
![机器学习之极大似然估计_第2张图片](http://img.e-com-net.com/image/info8/ec923723e82b4d01abc57b08b345c899.jpg)
2.在日常生活中,我们很容易无意中就使用到极大似然估计的思想,只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是极大似然估计:
- (1)猎人师傅和徒弟一同去打猎,遇到一只兔子,师傅和徒弟同时放枪,兔子被击中一枪,那么是师傅打中的,还是徒弟打中的?
- (2)一个袋子中总共有黑白两种颜色100个球,其中一种颜色90个,随机取出一个球,发现是黑球。那么是黑色球90个?还是白色球90个?
- 对于第(1)个问题,由于师傅的技术一般比徒弟高,因此我们会猜测兔子是师傅打中的。对于第(2)个问题,对于颜色有90个的球,我们抽中它的概率更大,因此当抽中为黑色球时,我们便会认为90个的是黑色球。
- 对于以上两个例子可以看出,我们在进行猜测时,往往认为:概率最大的事件,最可能发生,因此在一次试验中就出现的事件应当具有较大的概率。
二、极大似然原理及数学表示
1.极大似然原理
- 总结起来,最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
- 原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计
![机器学习之极大似然估计_第3张图片](http://img.e-com-net.com/image/info8/aae77d1cf85e400d8e2909b09597432c.jpg)
2.极大似然估计
在一次抽样中,样本出现的概率是关于参数 θ 的函数,若在一些试验中,得到观测值 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn,则我们可以选取θ^ ( x 1 , x 2 , . . . , x n ) (x_1,x_2,...,x_n) (x1,x2,...,xn),作为 θ 的估计值,使得当 θ=θ^ ( x 1 , x 2 , . . . , x n ) (x_1,x_2,...,x_n) (x1,x2,...,xn)时,样本出现的概率最大。而极大似然估计就是要求解出参数 θ 的估计值。可采用极大似然估计法。
三、极大似然估计法(Maximum Likelihood Estimation,MLE)
(1)若总体 X 为离散型
![机器学习之极大似然估计_第4张图片](http://img.e-com-net.com/image/info8/c06b9f14ca2845d4a229c724b5b82421.jpg)
(2)若总体 X 为连续型
![机器学习之极大似然估计_第5张图片](http://img.e-com-net.com/image/info8/fc8c847f0d4a468b9413e9956a81c084.jpg)
四、 极大似然估计法求估计值的步骤:
![机器学习之极大似然估计_第6张图片](http://img.e-com-net.com/image/info8/c0677f26aa5343539982d9fe36d1b10a.jpg)
五、极大似然估计法应用
(1)假设一个袋子装有白球与红球,比例未知,现在抽取10次(每次抽完都放回,保证事件独立性),假设抽到了7次白球和3次红球,在此数据样本条件下,可以采用最大似然估计法求解袋子中白球的比例。
求解过程:
- 该试验属于二项分布,我们定义 M 为模型,抽到白球的概率为 θ ,而抽到红球的概率为 1−θ
,因此10次抽取抽到白球7次红球3次的概率(似然函数)为:
![机器学习之极大似然估计_第7张图片](http://img.e-com-net.com/image/info8/ad18e9730fac41e3a21d6ed743ec9951.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/8a4194246ac7491cb4054bfc839a9d6f.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/98d00278478b4b7fb37d5f2e505d6cc2.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/fe689079f93d4f2a963f8fcf21e2e296.jpg)
二项式系数为常数,在求导过程中会被抵消。故白球的比例为 0.7 。
(2)设总体 X N ( μ , σ 2 ) , μ , σ 2 X N(μ,σ2) ,μ,σ2 XN(μ,σ2),μ,σ2 为未知参数, x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn是来自 X 的一个样本值,求 μ , σ 2 μ,σ2 μ,σ2 的极大似然估计值。
求解过程:
![在这里插入图片描述](http://img.e-com-net.com/image/info8/bca340377e0a414cb22f24a08f121c3b.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/db3d21f46a8e4abfb85c8d30785d1439.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/10450144d1804342aeb5fca369d84193.jpg)
![机器学习之极大似然估计_第8张图片](http://img.e-com-net.com/image/info8/5334a9481fc14625abe425c8727ccd77.jpg)
![机器学习之极大似然估计_第9张图片](http://img.e-com-net.com/image/info8/15d06f9806bb4b6180ea0734fbbd742c.jpg)
![在这里插入图片描述](http://img.e-com-net.com/image/info8/12b573d77fda46169f6a21bf7661665c.jpg)
六、总结
求最大似然估计量的一般步骤:
- 写出似然函数;
- 对似然函数取对数,并整理;
- 求导数;
- 解似然方程。
最大似然估计的特点:
- 比其他估计方法更加简单;
- 收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;
- 如果假设的类条件概率模型正确,则通常能获得较好的结果。但如果假设模型出现偏差,将导致非常差的估计结果。
参考:https://blog.csdn.net/zengxiantao1994/article/details/72787849
https://www.cnblogs.com/lliuye/p/9139032.html