2.3.7 学⽣t分布

先丢个链接:https://www.matongxue.com/madocs/580/

链接中的学生t分布公式:

书中的t分布

以下要从高斯分布推导出学生t分布


已知高斯分布的精度的共轭分布是Gamma分布。假设我们有一个一元高斯分布和一个Gamma分布,我们把精度积分出来,可以得到的边缘分布
p(x|\mu,a,b)=\int^\infty_0N(x|\mu,\tau^{-1})Gam(\tau|a,b)d\tau\\ =\int^\infty_0\frac{b^ae^{(-b\tau)}\tau^{a-1}}{\Gamma(a)}(\frac{\tau}{2\pi})^{\frac{1}{2}}\exp\{-\frac{\tau}{2}(x-\mu)\}d\tau\\=\frac{b^a}{\Gamma(a)}(\frac{1}{2\pi})^\frac{1}{2}[b+\frac{(x-\mu)^2}{2}]^{-a-\frac{1}{2}}\Gamma(a+\frac{1}{2})
然后令,,新参数下分布为

参数为t分布的精度(通常不等于方差的倒数),参数为自由度,作用如下图所示,对于的情况,t 分布变为了柯西分布( Cauchy distribution ),而在极限 的情况下,t 分布变成了高斯分布 ,均值为 ,精度为 。

可以看出t分布比高斯分布有更长的尾巴,也就是两边延伸得更开,这给出了t分布的一个重要性质——鲁棒性,更长的尾巴意味着对于离群点能有更好的忍耐度,不会像高斯分布那样敏感。

在实际应用中,离群点可能产生于生成数据的过程,这个过程对应于一个有着长尾的概率分布,也可能产生于
误标记的数据。鲁棒性也是回归问题的一个重要性质。毫不惊讶地说,回归的最小平方的方法并不具有鲁棒性,因为它对应于(条件)高斯分布下的最大似然解。通过让回归模型基于一个长尾的概率分布(例如 t 分布),我们可以得到一个更加鲁棒的模型。


你可能感兴趣的:(2.3.7 学⽣t分布)