Maximum Likelihood (MLE) & Maximum a posteriori (MAP)的分別

有趣且浅显易懂的举例

刚刚在找MAP的资料，无意中找到有人写的一个有趣的文章，拿减肥当例子真的是浅显易懂 XD

如果拿 Artificial Intelligence: A Modern Approach (ISBN-10: 0137903952, ISBN-13: 978-0137903955 , find it in Amazon)这本书里头的例子来说的话是这样：

假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是

樱桃 100%

樱桃 75% + 柠檬 25%

樱桃 50% + 柠檬 50%

樱桃 25% + 柠檬 75%

柠檬 100%

如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？其实答案很明显为#5，因为从#5袋子连续拿到五个柠檬口味饼干的机率为1，其它#1~#4分别为0, 0.25^2, 0.5^2, 0.75^2，这时候我们是用MLE来解。

但是今天如果多增加一些条件，假设拿到#1或#5的机率都是0.1，拿到#2或#4的机率都是0.2，拿到#3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。

假设 P(hi | d) 为挑中第i个袋子然后连续拿出2个柠檬口味的饼干，那么根据Bayesian Prob.

P(hi | d) = P(hi) P(d | hi)/P(d)

而其中P(d) = 1 (因为已经说连续拿出2个柠檬口味饼干了)，P(hi)则分别为(0.1, 0.2, 0.4, 0.2, 0.1)，P(d | hi)分别为(0, 0.25^2, 0.5^2, 0.75^2, 1^2)，这样就可以算出P(hi | d)，结果会发现P(h4 | d) (第4个袋子)为最高。