自用机器学习笔记(1):什么是概率以及似然

自用机器学习笔记(1):什么是概率以及似然

(1)解释1:
这个是quora上的一个回答 What is the difference between probability and likelihood?在评论中这位老师将概率密度函数和似然函数之间的关系,类比成 和 之间的关系。详细翻译如下:2我们可以做一个类比,假设一个函数为 ,这个函数包含两个变量。如果你令b=2,这样你就得到了一个关于a的二次函数,即 :自用机器学习笔记(1):什么是概率以及似然_第1张图片当你令a=2时,你将得到一个关于b的指数函数,即 :自用机器学习笔记(1):什么是概率以及似然_第2张图片可以看到这两个函数有着不同的名字,却源于同一个函数。而p(x|θ)也是一个有着两个变量的函数。如果,你将θ设为常量,则你会得到一个概率函数(关于x的函数);如果,你将x设为常量你将得到似然函数(关于θ的函数)。下面举一个例子:有一个硬币,它有θ的概率会正面向上,有1-θ的概率反面向上。θ是存在的,但是你不知道它是多少。为了获得θ的值,你做了一个实验:将硬币抛10次,得到了一个正反序列:x=HHTTHTHHHH。无论θ的值是多少,这个序列的概率值为 θ⋅θ⋅(1-θ)⋅(1-θ)⋅θ⋅(1-θ)⋅θ⋅θ⋅θ⋅θ = θ⁷ (1-θ)³比如,如果θ值为0,则得到这个序列的概率值为0。如果θ值为1/2,概率值为1/1024。但是,我们应该得到一个更大的概率值,所以我们尝试了所有θ可取的值,画出了下图:自用机器学习笔记(1):什么是概率以及似然_第3张图片这个曲线就是θ的似然函数,通过了解在某一假设下,已知数据发生的可能性,来评价哪一个假设更接近θ的真实值。如图所示,最有可能的假设是在θ=0.7的时候取到。但是,你无须得出最终的结论θ=0.7。事实上,根据贝叶斯法则,0.7是一个不太可能的取值(如果你知道几乎所有的硬币都是均质的,那么这个实验并没有提供足够的证据来说服你,它是均质的)。但是,0.7却是最大似然估计的取值。因为这里仅仅试验了一次,得到的样本太少,所以最终求出的最大似然值偏差较大,如果经过多次试验,扩充样本空间,则最终求得的最大似然估计将接近真实值0.5。在这篇博客中有详细的过程,就不再赘述。

作者:HiTao
链接:https://www.zhihu.com/question/54082000/answer/470252492
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

(2)解释2:
L(θ|x)=f(x|θ)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后,我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f,里面有参数theta。对于不同的theta,样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下,x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候,哪个参数theta使得x出现的可能性多大。所以其实这个等式要表示的核心意思都是在给一个theta和一个样本x的时候,整个事件发生的可能性多大。

作者:冯龙
链接:https://www.zhihu.com/question/54082000/answer/138115757
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

你可能感兴趣的:(概率论,机器学习)