ML—线性回归系列(二)—基础统计

华电北风吹
天津大学认知计算与应用重点实验室
日期:2015/11/25

线性回归是统计学里面一个非常重要的部分,在本系列的第二部分主要总结一些线性回归的统计学指标。并且不定期更新。

一、统计学名词
样本与系列第一篇表示一样表示为 (x(i),y(i)) ,模型对于 x(i) 的预测值为 y^(i)=θ^Tx(i) ,所有样本的 y(i) 的均值表示为 y¯=1mmi=1y(i) .
下面来看三个度量指标
1、总离差平方和
SST=mi=1(y(i)y¯)2
2、误差平方和(残差平方和)
SSE=mi=1(y(i)y^(i))2
3、回归平方和
SSR=mi=1(y^(i)y¯)2
并且对于这三个指标有
SST=SSE+SSR

二、线性回归显著性指标
1、复相关系数
R2=SSRSST=1SSTSST
很显然R值范围为[0,1],并且R越接近与1,说明线性关系越强。
2、F检验
F=SSR/n1SSE/mn 服从 F(n1,mn) 分布,因此可以使用F检验来判断回归显著性。

你可能感兴趣的:(ML—线性回归系列(二)—基础统计)