贝叶斯预测模型 (数学原理与推导)

1. 方差的两种计算方法

对于方差计算的一个重要结论：

2. 联合概率分布-条件概率分布

当然，利用联合概率分布也很容易推出边缘概率分布；只需要对其他变量进行全积分即可！

条件概率分布直观想象还是有难度的，很多时候我们仍然需要借助公式进行求解：

需要注意的是，上面介绍的是推广情况。针对于特殊情况，例如X,Y是相对独立的。那么联合概率和条件概率将退化成非常简单的形式：

• 考虑一种特殊情况：如果我们有三个随机变量X,Y,Z；我们知道Z, 并且Y并不能提供给我们任何关于X的信息。也就是说，给定Z的情况下，X和Y是条件独立的，必定有P(X|Y,Z)=P(X|Z)成立。那么如何计算Pr(X,Y|Z):

• 动态模型中的条件独立分布(Conditional Independence):

• 贝叶斯线性回归 Bayesian Linear Regression:

3. 联合概率分布期望-条件概率分布期望

• 联合概率分布期望 及 实例：

• 条件概率分布 及 期望：

4. 贝叶斯预测分布 Bayesian Predictive Distribution

一个经典的案例，就是入侵检测系统Intrusion Detection System（IDS）：

• 假设对于所有的TCP连接， 1%的连接遭受到入侵；
• 假设入侵情况下，系统发送警报的概率87%；
• 假设没有入侵情况下，系统发送警报的概率6%；

具体计算如下：

通过上例，我们也能归纳出后验推断。实质上，后验推断posterior inference就是寻找最佳的q(θ)去逼近p(θ|X)。