机器学习：贝叶斯总结_3：线性回归和贝叶斯回归

线性回归的基函数模型

• y(x,w)=w0+w1x1+......+wDxD
  y(x,w)=w0+∑M−1j=1wjϕj(x)
  ϕj(x)：是基函数

• 基函数：多项式；高斯；sigmoid函数

• 基函数还可以是傅里叶基函数

最大似然与最小平方

• 误差函数=高斯噪声下的最大似然解
• 正则项是保证矩阵非奇异

顺序学习(随机梯度下降)

正则化最小平方

• ED(w)+λEW(w) ； λ是正则化的系数

12∑Nn=1{tn−wTΦ(xn)2}+λ2∑Mj=1|wj|q

• q=1 （lasso）：套索， λ足够大则系数为零，生成系数模型

多变量的输出

偏置-方程折中

• 最大似然估计容易导致过拟合

贝叶斯线性回归

• 贝叶斯线性回归可以预防过拟合

贝叶斯模型的比较

• 假设多项式曲线的拟合问题，概率分布由模型中的一个产生，但不知道是哪个，不确定性通过先验概率表达 p(Mi) .给定训练集D，

p(Mi|D)−>p(Mi)p(D|Mi)

• 先验概率表示不同模型的优先级
• p(D|Mi)是不同模型的优先级
• 贝叶斯因子= p(D|Mi)p(D|Mj)

预测分布： p(t|x,D)=∑Li=1p(t|x,Mi,D)p(Mi|D)
1. 混合分布
2. 各个模型的预测加权

模型近似

待续