先验概率,似然函数和后验概率

一句话总结

先验概率P,乘以似然函数L,正比于后验概率。

PosteriorLikelihoodPrior

重点

先验概率,后验概率和似然函数的关系

先验概率,似然函数和后验概率_第1张图片

如上图,图中的公式有误,应该是

P(H|E)=P(E|H)P(H)P(E)

P(E|H) 就是似然函数, P(E) 相当于是一个归一化项,整个公式就是表达了“后验概率正比于先验概率乘以似然函数”。

Likelihood function 和 probability的区别

Probability is used before data are available to describe possible future outcomes given a fixed value for the parameter (or parameter vector). Likelihood is used after data are available to describe a function of a parameter (or parameter vector) for a given outcome.
The likelihood of a set of parameter values, θ, given outcomes x, is equal to the probability of those observed outcomes given those parameter values, that is

L(θ|x)=P(x|θ)

举例说明,掷硬币的例子,每次有50%的概率掷出正面;而如果掷了一枚硬币100次,这个硬币有50次正面朝上,那么这个硬币是均匀的可能性是多少。“似然概率”可以理解成“像这个样子发生的概率”。对于50次正面朝上这样一个结果,我们可以拿极大似然估计来求出这个“可能性”

L(θ|x)=(10050)θn(1θ)n
,两边取对数并使导数等于零可以得到
50θ501θ=0
,所以极大似然估计求得的结果为 θ=0.5

极大似然估计(MLE)和极大后验估计(MAP)

一个没有正则化项的LR其实就是极大似然估计,加入了正则化项就是加入了先验,就成了极大后验估计。

先验概率,似然函数和后验概率_第2张图片

假定样本服从高斯分布,对样本做极大似然估计,就会得到最小二乘的损失函数;如果对weights加入先验,就成为极大后验估计。
先验概率,似然函数和后验概率_第3张图片
先验概率,似然函数和后验概率_第4张图片

参考
https://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation
https://en.wikipedia.org/wiki/Maximum_likelihood_estimation
MLAPP 1.4.5 Linear regression

参考文献

  1. Scalers的两篇文章http://mp.weixin.qq.com/s?src=3×tamp=1467648494&ver=1&signature=XKymJ5tpDbq*qGGgJc68A-jqDVzLmtEHNzJv5VjZ3RLXt3YheNcXf530pWqfPDvOSWZ2JDl6qEZ*Bc72DtiPJEMttrgExkv*cYBA06sWaaXaJSm0IaC2juto5TYkIhnJw*q4kCbYrQxmB5pzvSAbHQ==和
    http://mp.weixin.qq.com/s?__biz=MzA4MjIyNDYzMQ==&mid=200606852&idx=1&sn=626f4251a07ca4eb315718f231b0a7dd&scene=7#wechat_redirect

  2. https://en.wikipedia.org/wiki/Likelihood_function#Historical_remarks

  3. http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

你可能感兴趣的:(机器学习中的数学)