PRML第一章_概率论

1.2 概率论

本节介绍了简单的概念：概率密度
现在有两个box，红的box里面有2个apples，6 oranges,蓝的box里面有3 apples，1 oranges。
进行有放回的选取，即bootstrap.
p(B)指的就是从两个box中取到红box的概率
p(F)指的是取到apple的概率
1. 概率规则：
sum rule: p(X)=∑Yp(X,Y)
product rule: p(X,Y)=p(Y|X)p(X)
2. 贝叶斯理论：
p(Y|X)=p(X|Y)p(Y)p(X)
先验概率和后验概率：
例如先验概率是p(B)，不需要给定的F，就可以得到的概率叫做先验概率。
后验概率是p(B|F)，给定F之后，才得到的概率就叫做后验概率。
3. 高斯模型
N(x|u,σ2)=12πσ2exp{−12σ2(x−u)2}
此时参数就是 u,σ2 。
而我们期望：取两个参数取某值时，x出现的概率最大。这也就是最大似然估计（MAP）。
这时我们选择的是ln(p)。主要有两个原因：
 里面有exp，exp(a*b)=exp(a)+exp(b)，可以简化计算。
 并且ln是递增函数。
接下来目标函数为：
lnp(x|u,σ2)=−ln2π
然后式子分别对 u,σ2 求偏导。