贝叶斯理论中的基本概念

对于复杂的数学语言，认识它的一种有效方式是通过例子。在这里，通过投硬币这个例子来说明贝叶斯理论中的基本概念。假设有一枚硬币，现在不确定是否是均匀的，也就是这枚硬币出现正面和反面的概率可能不一样。这个时候我们可以提出猜测，这枚硬币有三种可能，第一种可能是该硬币正反面出现的概率相等，第二种情况是正面出现的概率比较大，第三种情况是反面出现的概率比较大。为了更形式化地描述我们的问题，定义一个参数θ。θ值表示硬币不均匀的程度，如果θ值越大，这种不均匀性会导致出现正面的概率变大；如果θ值比较小，这种不均匀性会导致反面的概率变大。为了方便，可以令θ值的取值范围为[0，1]。现在我们可以随便进行猜测，比如我们认为第二种情况，也就是该硬币是均匀的可能性比较大，另外两种情况出现的概率比较小。比如，均匀的概率是0.5，另外两种情况的概率分别为0.25。这种随便的猜测就是先验概率（prior）。现在我们进行投硬币的实验，假设我们进行了10次实验，在这10次的实验中，出现了3次的正面。这个时候我们需要根据实验来修正我们的先验概率。被修正的先验概率就成了后验概率。

---

根据贝叶斯公式：p(θ|D)=p(θ)p(D|θ)/p(D)=p(θ)p(D|θ)/∑p(θ)p(D|θ)

---

若要求后验概率p(θ|D)，需要知道三个量，先验概率p(θ)，似然函数p(D|θ)，以及p(D)。先验概率是我们的猜测，这种猜测具有主观性。比如一种可能是如Fig 1中的Prior那种形式。第二个需要计算的量是似然函数p(D|θ)。在投硬币的例子中，D=正面or反面，所以我们需要知道两个量：p(D=正面|θ)和p(D=反面|θ)。为了方便起见，我们令p(D=正面|θ)=θ，p(D=反面|θ)=1-θ。或者可以写成p(D|θ)=θ^(D)(1-θ)(1-D)，比如取正面的时候，D=1，p(D=1|θ)=θ；反面的时候，D=0，p(D=0|θ)=1-θ。因为投硬币的时候，每次都是互相独立的，所以如果在10次投硬币的过程中，出现了3次正面，那么p(D=3次正面，7次反面|θ)=θ^3(1-θ)7。如果θ=0.5，那么p(D=3次正面，7次反面|θ=0.5)=0.5^3*0.57=0.5^10=0.0009765625. 可以根据这个公式计算各个θ对应的似然函数的值。最后根据贝叶斯公司就可以得到后验概率分布。

image

R代码部分：

#此处定义θ的取值个数
> nThetaVals=3
> Theta=seq(from=1/(nThetaVals+1),to=nThetaVals/(nThetaVals+1),by=1/(nThetaVals+1))
#θ的取值
> print(Theta)
[1] 0.25 0.50 0.75
#指定先验概率
> pTheta=pmin(Theta,1-Theta)
#为了使得先验概率之和等于1，这里进行了一个归一化。
> pTheta=pTheta/sum(pTheta)
> pTheta
[1] 0.25 0.50 0.25
#投硬币的实验，三次出现正面，7次出现反面
> Data=c(1,1,1,0,0,0,0,0,0,0,0,0)
> nHeads=sum(Data==1)
> nTails=sum(Data==0)
#计算似然函数
> pDataGivenTheta=Theta^nHeads*(1-Theta)^nTails
> print(pDataGivenTheta)
[1] 1.173198e-03 2.441406e-04 1.609325e-06
> pData=sum(pDataGivenTheta*pTheta)
> print(pData)
[1] 0.0004157722
#计算后验概率值
> pThetaGivenData=pDataGivenTheta*pTheta/pData
做图部分
> windows(7,10)
#这里nrow表示三行，ncol表示一列，1，2，3表示三张图的位置
> layout(matrix(c(1,2,3),nrow=3,ncol = 1,byrow=FALSE))
#先验概率做图
> plot(Theta,pTheta,type='h',lwd=3,main='Prior',xlim=c(0,1),ylim=c(0,1.1*max(pThetaGivenData)))
#似然函数做图
> plot(Theta,pDataGivenTheta,type='h',lwd=3,main='Likelihood',xlim=c(0,1))
#后验概率做图
> plt(Theta,pThetaGivenData,type='h',lwd=3,main='posterior',xlim=c(0,1),ylim=c(0,1.1*max(pThetaGivenData)))