线性回归的贝叶斯方法

贝叶斯形式化推理背后的主要动机是一种连贯的方法来建模不确定性以及推理的公理框架。

在本节中，我们将从贝叶斯视角重新定义多元线性回归。贝叶斯推理涉及到概率分布和条件分布的思考。一个重要的思想是共轭先验。另一个我们将在这门课中广泛使用的工具是多元正态分布及其性质。

4.1. 共轭先验给定一个似然函数p(æ |θ)和一个先验函数π(θ)，可以将后验函数写成

P (θ | x) =р（x | i）p（i）p（x， θ） Jo， p（x|θ'）π（θ'） dθ' p（x）'

其中p(z)是数据的边际密度，p(x,0)是数据和参数θ的联合密度。先验和似然是共轭的意思是先验和后验密度属于同一族。我们现在举几个例子来说明这个观点。二项:考虑n(试验次数)固定的二项似然

F (x | p, n) =() (1 - p)”

感兴趣的参数(成功的概率)是p e[0,1]。p的自然先验分布是具有密度的

Beta分布π（p; α， β） T（α+-1（1 -p）8-， pε （0,1） 和 α， β> 017