多元线性回归模型的几何意义

模型设定与假设

多元线性回归与一元线性回归在思想上并没有太大的不同 ,不过是多了一些变量罢了。考虑问题的角度要从之前的二维空间进阶到高维空间。传统的多元线性回归模型可以用矩阵来描述。

image

按照OLS估计方法得出的多元线性回归的参数结果为

image

对于该式而言Y的估计值

image 其实正是n维向量Y 在n*k维矩阵(不存在向量自相关)所张成的k维空间上的正交投影。

多元线性回归模型的几何意义_第1张图片

 

正交投影是什么?

使用余弦定理也可以说明Xb就是n维空间中的向量y在由X(n*p)矩阵构成的p维空间 image中的正交投影。

正交投影矩阵可以由余弦定理推出:以二维空间为例说明

多元线性回归模型的几何意义_第2张图片

 

(余弦定理的证明可见http://www.cnblogs.com/pingzeng/p/5025672.html)

扩展到多维度空间的情况

image

便为矩阵X所张成的k维空间 的正交投影矩阵。

该矩阵乘上任何一个n维向量所得到的结果即为该n维向量在空间image 的正交投影。

你可能感兴趣的:(多元线性回归模型的几何意义)