高等代数理论基础67:向量到子空间的距离·最小二乘法

向量到子空间的距离·最小二乘法

向量距离

定义:称为向量和的距离,记作

性质:

1.

2.,且仅当时等号成立

3.

一固定向量和一子空间各向量间的距离以垂线最短

设,向量垂直于子空间W,即垂直于W中任一向量

垂直于W

给定,设,满足垂直于W,要证到W中各向量的距离以垂线最短

即证,有

证明:

注:定理说明向量到子空间各向量间的距离以垂线最短

最小二乘法问题

线性方程组

可能无解

即任一组数都可能使

找使上式最小,这样的一组数称为方程组的最小二乘解

利用欧氏空间的概念表达

最小二乘法即找使Y与B的距离最短

将A的各列向量分别记为

Y即中的向量

故只需找X使最小

即在中找一向量Y,使得B到它的距离比到子空间中其他向量的距离都短

设为所求向量

则必须垂直于子空间

此时,必须

又按行正好排成矩阵

故,或

即最小二乘解所满足的代数方程,是一个线性方程组,系数矩阵是,常数项是

这种线性方程组总有解

你可能感兴趣的:(高等代数理论基础67:向量到子空间的距离·最小二乘法)