3 linear models for regression

1 有训练集X={x1,x2,...,xN},目标集t={t1,t2,...,tN};目标是对于新的观测点x,预测与其对应的目标值。

在一些简单的应用中,采用构建应用函数y(x)(设计model),对于新的输入点x,根据函数关系直接求得对应的目标值t.

贝叶斯估计观点,把参数看成一个确定的随机变量,利用先验概率分布p(x)和似然函数p(x|t),计算相应的后验概率分布p(t|x),参数最优解为条件概率的期望:

第一步确定参数的先验概率;第二步写出似然函数,并根据贝叶斯法则计算后验概率;第三步写出参数的贝叶斯估计----条件概率的期望(后验概率)。

2 线性基函数:

函数y(x,w)对于系数w是线性的,在第一章中,基函数选择为,这个多项式基函数的选择的缺点:对于x是全局函数,意味着牵一发而动全身,可以选择样条函数作为基函数,克服此缺点。

(1)高斯基函数

(2) Sigmoidal basis function

 

(3)tan函数

(4)傅里叶级函数


你可能感兴趣的:(PRML)