线性代数学习总结-正交

概念

如果两个向量的点积等于0，那么则说这两个向量是正交的。（其实也就是垂直啦）

正交矩阵的性质有着很多实际的应用。首先从4个子空间之间的正交性开始吧。

子空间正交性

这里是接着子空间更进一步引述出的结论。

• 行空间垂直与零空间垂直

很明显，对于的情况下，矩阵的每一行都与垂直

• 列空间垂直与Left Null Space垂直

与上面一致，对于的情况下，矩阵的每一列都与垂直

Orthogonal Complements

对于一个子空间而言，它的正交补码包含每个与子空间垂直的向量，记作

投影

这里投影就是指一个向量在另一个向量、平面或其他什么东西上的映射，跟字面意思一样。
首先考虑最简单的情况，投影到一条直线跟投影到一个平面上，为了节约纸张，我画在一幅图里了

projection on line/plane

如图，向量在向量或者平面上的投影为，如何求出呢？

假设
有
因为与垂直，有
可以得到
对于平面而言，求解方法一致，得到
得解

注意不要随便乱消元哈，这不是自然数。

接着我们考虑一种更复杂的情况，映射到子空间。
假设给出个空间内的线性无关的向量组，找出组合，使得它与向量的差值最小。
所谓差值最小，其实就是求先这个子空间的投影了。那么我们只需要找出投影矩阵就可以了

对于而言，因为的差值与是垂直的，有

得到

线性拟合

接下来的内容比较偏应用一点。对于方程无解是一种比较常见的情况，例如出现线性依赖等情况。在这种情况下，我们需要求出一个最优解，该怎么做呢？
所谓的最优解，就是该解与的差值的平方最小
是的，求投影就行了。如果差值的平方为0的话，则就等于。
如下图

Fitting a straight line

对于
我们需要求出C和D，根据公式，有

那么当：求出C、D，回代入公式，得解。

线性拟合在应用中有较多的使用。不过容易出现的问题就是干扰点，这些点离中心数据太远，极大的影响了结果。通常在应用中会选择剔除这些点。

正交基和Gram-Schmidt

上面的过程可以看到，在求解的时候是非常麻烦的，计算量很大。那么这里我们主要通过构造正交矩阵来减少运算量。
对于向量而言，如果他们的点积，我们则说他们是正交的。如果向量的长度为1，那么我们则称之为正交单位向量，也叫标准正交。

这样我们可以很轻松的求解，因为，那么对于原来的公式而言，可以化简为，极大的方便了运算。

那么如何将原来的矩阵变成正交单位矩阵呢？
如图

transform

简单起见，从低维开始考虑，假设三维空间中，我们有向量组成的矩阵，如图所示，要将它变为正交矩阵其实就很简单了。

• 首先我们求出，用表示为
• 其次，我们用减去其投影在上的分量，既得到垂直于平面的量了，如下图
  
  c
• 得到

则组成正交单位矩阵。