稀疏贝叶斯学习（SBL）算法过程推导

【直接复制word中的公式格式会出问题，为了方便，公式部分就以截图形式呈现】

首先推导贝叶斯公式：

考虑事件A和事件B：

由以上两式，即得贝叶斯公式：

求解的问题模型为： 

 

由贝叶斯公式可得：

要估计ω可由arg  p(ω|t)求得

       假定ϵ符合均值为0，方差为 的高斯分布，则可得出t符合均值为Φω，方差为 的高斯分布,即

假定ω由超参数γ产生，并符合均值为0，方差为 的高斯分布，即 

由全概率公式可得：

 积分部分相当于两个高斯函数的卷积，仍为高斯函数。将指数部分看作一个整体，令：

       L是关于ω的二次项。对于高斯函数有以下性质：

       式中A是矩阵，b是向量，C是常数。可将L表达成 的样式，f中不含变量ω 。我们可以将满足Aω+b=0的ω代入其中，即得到f。为求ω，可通过对L求导，求其一阶零点得: 

 

将ω 代入L中，得到， 

 

因此对全概率公式进行积分后得 

       由此可以看出p(t;γ) 是一个高斯分布，其均值为0,协方差矩阵Σt 满足：

可通过下面矩阵求逆公式得到: 

 

 求得：

后验概率推导：

根据贝叶斯公式，有

        利用前面的结果，分母部分已求得。分子部分是两个高斯概率密度函数的乘积，其结果仍为高斯分布，再与分母部分相除，最终还是为高斯分布。将前面求得的结果分别代入, 忽略常数部分，可得：

       其均值为指数部分对ω的一阶导数零点，协方差矩阵的逆为指数部分对ω的二阶导数。可令：

对ω 求导，得 

对ω 求二阶导，得：

 

令 得，

且

        M>>N，Σω M阶，Σt N阶，Σω 的逆的复杂度远远高于Σt 的逆的复杂度，可运用矩阵和求逆公式将 转化为求 ，结果如下： 

 

       最后通过EM算法更新超参数：

完毕