贝叶斯估计

Note：

• 贝叶斯估计又称最大后验估计（MAP），区别于 MLE 认为被估计的参数为定值。
• 贝叶斯学派把被估计的参数看作是一个随机变量，因此首先需要对该随机变量（被估计的参数）有一个先验的概率分布，这个对被估计参数的先验概率一般都可从样本数据中直接算得。
• 贝叶斯估计的目标是算出被估计参数的后验概率分布，即似然概率乘上被估参数的先验概率。令这个后验概率最大求得参数的后验概率分布。

贝叶斯估计的增量学习：

把在上一个数据集上的贝叶斯估计（后验分布）结果，作为在这个数据集上的先验概率分布。因此叫做对先验分布的更新过程。

先验分布： 如果具备领域知识或者对于模型参数的猜测，我们可以在模型中将它们包含进来，而不是像在线性回归的频率方法那样：假设所有关于参数的所需信息都来自于数据。如果事先没有任何的预估，我们也可以为参数使用无信息先验，比如一个（0,1）的正态分布（例如高斯先验引入了L2正则化项）。然后可以采用增量学习的方式对先验概率分布进行更新。