深入理解先验分布、后验分布、似然估计

这几个概念可以用“原因的可能性”和“结果的可能性”的

“先后顺序”及“条件关系”来理解。

下面举例：

隔壁老王要去10公里外的一个地方办事，他可以选择走路，骑自行车或者开车，并花费了一定时间到达目的地。在这个事件中，可以把交通方式（走路、骑车或开车）认为是原因，花费的时间认为是结果。

若老王花了一个小时的时间完成了10公里的距离，那么很大可能是骑车过去的，当然也有较小可能老王是个健身达人跑步过去的，或者开车过去但是堵车很严重。若老王一共用了两个小时的时间完成了10公里的距离，那么很有可能他是走路过去的。若老王只用了二十分钟，那么很有可能是开车。这种先知道结果，然后由结果估计原因的概率分布，p(交通方式|时间)，就是后验概率。

老王早上起床的时候觉得精神不错，想锻炼下身体，决定跑步过去；也可能老王想做个文艺青年试试最近流行的共享单车，决定骑车过去；也可能老王想炫个富，决定开车过去。老王的选择与到达目的地的时间无关。先于结果，确定原因的概率分布，p(交通方式)，就是先验概率。

老王决定步行过去，那么很大可能10公里的距离大约需要两个小时；较小可能是老王平时坚持锻炼，跑步过去用了一个小时；更小可能是老王是个猛人，40分钟就到了。老王决定骑车过去，很可能一个小时就能到；较小可能是老王那天精神不错加上单双号限行交通很通畅，40分钟就到了；还有一种较小可能是老王运气很差，连着坏了好几辆共享单车，花了一个半小时才到。老王决定开车过去，很大可能是20分钟就到了，较小可能是那天堵车很严重，磨磨唧唧花了一个小时才到。这种先确定原因，根据原因来估计结果的概率分布，p(时间|交通方式)，就是似然估计。

老王去那个地方好几趟，不管是什么交通方式，得到了一组关于时间的概率分布。这种不考虑原因，只看结果的概率分布，p(时间)，也有一个名词：evidence（不清楚合适的中文名是什么）。

最后，甩出著名的贝叶斯公式：

For example：

给大家编一个具体数字的例子。“因”为交通方式w，“果”为所用时间x：

1. 先验 P(w)：要去10公里外的某地，老王开车的可能性最大，P(开车)=0.6，而骑车和走路可能性为P(骑车)=0.3，P(步行)=0.1。

2. 似然 P(x|w):

开车时，花20分钟比较多，也可能堵到2小时。大家想象一个分布——横轴为时间，从0到120分钟；纵轴为概率，0到1；分布是一条曲线，线下面积为1（总概率为1），20分钟时值为0.5，120分钟时值为0.05。
相同的，有两条骑车和步行时的条件概率图，骑车时时间为60分钟的概率最大，为0.4，其他时间概率相应地较小；步行时120分钟的概率最大，为0.5。

3. 迹象/证据 P(x):

老王去过这个地方20次了，所花分钟数分别为：20，30，20，60，90，120，20，60，120，110，40，50，60，70，90，120，110，20，70，90. 则可做出时间分布的直方图，不做也行。
“20分钟”这个值出现了4次，所以P(20)=4/20=0.2，同样的，P(120)=3/20=0.15.

4. 后验 P(w|x):

老王告诉妻子，这次去某地花了120分钟。
妻子知道老王选交通方式的概率（先验），知道3种交通方式对应的概率分布（似然），知道老王去的20次的时间分布（迹象/证据）。于是妻子用贝叶斯公式，就能知道花了120分钟的老王，采用的交通方式应该是什么。

由P(w|x) = P(x|w)*P(w)/P(x)，有
P(步行｜时间=120分钟) = P(120分钟｜步行) * P(步行) / P(120分钟)。
由数据知，P(步行)=0.1，P(120分钟｜步行)=0.5，P(120分钟) = 0.15。代入三个数字，求出值为0.333.

类似的，可求出P(骑车｜时间=120分钟) =0.002，P(开车｜时间=120分钟) =0.02。其中步行的概率最大，所以妻子觉得老王最有可能是走着去的。这就是后验啦。

 

哎不知道有没有理解的不对的，初学者理解比较浅，这个例子里先验和似然也是经验值提供的，不来自样本，分类属性值也只有“交通方式”一个，没有“路况”、“身体条件”什么的。大家有不同意见还请指出。

 

Reference：

https://www.zhihu.com/question/24261751