正交向量与子空间

关于向量正交（orthogonality vector）我们都已不陌生，正交是垂直的另一种说法，两个向量正交意味着这两个向量的夹角为90度，如果要判断两个向量是否正交，只需对向量作点乘（dot product）相加，即内积，等于0就是正交的，如x^Ty=0，则x和y是正交的，如果x是零向量，y任意或者y是零向量，x任意，那么这两个向量是正交的，即零向量与任何向量都正交。

将正交从向量推广到子空间，定义子空间S和子空间T，如果S和T正交，那意味着S中的每个向量和T中的每个向量都正交，举个最常见的例子，现有黑板、地面、另一面墙是相互垂直的，那么它们是正交的吗？很显然不是，比如我取黑板上45度的向量，再取个地面上的向量，它们绝对不正交，或者可以这样考虑，取同在黑板和地面上的向量，即位于交界处的向量，自己绝对不会跟自己正交的，所以如果两个子空间在某一非零向量（注意是非零向量）处相交，那它们一定不正交。

上面的是正交，现在介绍正交补的概念，如果是正交补那么两子空间除了要正交，还需要维度满足一定条件，拿前面已经学过的4个子空间为例，我们已知道对于某个秩为r的矩阵A，其行空间是r维，零空间是n-r维，列空间是r维，左零空间是m-r维，其中行空间正交于零空间，列空间正交于左零空间，因为 ，所以这个等式告诉我们零空间中的x与A的所有行都正交，并且与A所有行的线性组合也是正交的，所以行空间和零空间是正交的。对于列空间和左零空间，因为 ，所以左零空间中的y与A的每一列都正交，并且与A所有列的线性组合也是正交的，所以列空间和左零空间是正交的。这就像将m维空间划分为两个子空间：列空间和左零空间，将n维空间划分为两个子空间：行空间和零空间。我们称这种现象为正交补(orthogonality complements)，即列空间的正交补是左零空间，左零空间中包含了所有与列空间正交的向量，而不只是部分。行空间的正交补是零空间，零空间中包含了所有与行空间正交的向量，而不只是部分。下面通过一个问题来理解正交补，以三维空间R³为例，现有R³的两个子空间：两条过原点无限延伸的正交的直线，它们能构成行空间和零空间吗？不能，因为它们的维度不对，两条直线的维度都是一维，1+1不等于3，所以它们不能构成正交补，所以不能作为行空间和零空间。

接下来我们讨论一下当Ax=b无解时，该如何求出方程组的最优解，这个问题很常见，如果A是长方阵（rectangular matrix），消元法得到的结果是0等于非0，方程组就无解，我们可以不断去掉一些方程，直至矩阵可逆，然后求解方程，但很明显这不是一个好方法，因为实际应用中，我们并不知道哪些数据是好的，哪些是不好的，我们总是希望利用所有的测量值求出最优解。求解最优解的方法如下：只需在Ax=b两侧同乘A^T，即方程变为 ，得到的解就是原方程的最优解。但注意A^TA也不一定总是可逆的，比如 ， ，有一个很重要的结论，rank（A^TA）=rank（A）对任何矩阵都是成立的，这可以让我们快速判断对称阵A^TA在什么情况下可逆：当且仅当A的零空间里只有零向量时，也就是A的各列线性无关，对称方阵A^TA才是可逆的。简单证明一下这个命题：我们前面说过如果Ax=0只有零解，那么A是可逆的，所以要证明A^TA是可逆的，我们需要考察A^TAx=0的解是多少，等式两边同乘x^T，即(Ax)^TAx=0，那么有Ax=0，又因为A的列是线性无关的，因此x=0，因此A^TA是可逆的。