多元线性回归模型的几何意义

模型设定与假设

多元线性回归与一元线性回归在思想上并没有太大的不同 ，不过是多了一些变量罢了。考虑问题的角度要从之前的二维空间进阶到高维空间。传统的多元线性回归模型可以用矩阵来描述。

按照OLS估计方法得出的多元线性回归的参数结果为

对于该式而言Y的估计值

其实正是n维向量Y 在n*k维矩阵（不存在向量自相关）所张成的k维空间上的正交投影。

 

正交投影是什么？

使用余弦定理也可以说明Xb就是n维空间中的向量y在由X(n*p)矩阵构成的p维空间 中的正交投影。

正交投影矩阵可以由余弦定理推出：以二维空间为例说明

 

（余弦定理的证明可见http://www.cnblogs.com/pingzeng/p/5025672.html）

扩展到多维度空间的情况

便为矩阵X所张成的k维空间 的正交投影矩阵。

该矩阵乘上任何一个n维向量所得到的结果即为该n维向量在空间 的正交投影。