线性代数之——对角化和伪逆

这部分我们通过选择更好的基底来产生更好的矩阵。当我们的目标是对角化矩阵时，一个选择可以是一组特征向量基底，另外一个选择可以是两组基底，输入基底和输出基底是不一样的。这些左右奇异向量是矩阵四个基本子空间中标准正交的基向量，它们来自于 SVD。

事实上，所有对的分解都可以看作是一个基的改变。在这里，我们只关注两个突出的例子，有一组基的和有两组基的。

如果输入和输出基都是的特征值。
如果这些基分别是和的特征值。

只有当是方阵并且有个不相关的特征向量时，我们才能将其对角化成。而通过 SVD，任意矩阵都可以对角化成。如果一个矩阵是对称的、反对称的或者正交的，那么有，在这种情况下，奇异值是特征值的绝对值，上面的两个对角化形式除了一个或者的因子外是相同的。

另外，注意 Gram-Schmidt 分解只选择了一个新的基底，也就是通过给出的输出正交基，而输入基底则是标准基由给出。我们只得到一个上三角矩阵而不是对角矩阵，，输出基矩阵在左边而输入基矩阵在右边。

让我们以一个方阵和一组基开始，输入空间和输出空间都是。在标准基下，线性变换是乘以矩阵。如果我们改变了输入空间的基，那么矩阵就变成了，是基变换矩阵；如果我们改变了输出空间的基，那么矩阵就变成了。

如果以上面同样的方式同时改变了两组基，那么新的矩阵就为。而一组好的基是矩阵的特征向量，我们就有。

当基中包含特征向量时，变换对应的矩阵是。

要找到投影到直线的变换矩阵。坐标投影到，坐标投影到，所以在标准基下，变换矩阵为

如果以的特征向量和为基的话：与直线共线，投影后还是其自身；垂直于直线，投影后为零向量，所以在这组基下的变换矩阵为

如果选择另外一组基和。

我们可以一列一列找到变换矩阵，，投影后坐标为；，投影后为零向量，所以在这组基下的变换矩阵为

另外我们也可以利用基变换矩阵，由标准基的基变换矩阵为

接下来，我们先将输入变换到标准基下，再应用标准基下的变换矩阵，最后再将输出变换到空间下，这样得到的以为基的变换矩阵就为

这和上面的结果是一样的，还说明了和是相似的，对于任意的非标准基底，我们都可以采用类似的方式来求取变换矩阵。

现在，输入基和输出基不一样，事实上，输入空间可以和输出空间不一样。同样，最好的矩阵依然是对角矩阵，只不过大小是的。为了到达对角矩阵，每个输入向量必须被变换到输出向量的一个倍数，而这个倍数就是对角线上的奇异值。

要说明的是，和代表的是相同的变换，矩阵利用和中的标准基，而则以和分别作为输入基和输出基，正交矩阵和则代表基变换矩阵。

每个复数都可以表示成极坐标的形式，将这些数想象成一个的矩阵，那么可以看作是是一个半正定矩阵，可以看作是一个正交矩阵，因为。极分解将上述的分解扩展到矩阵：正交乘以正定，。

每个实的方阵都可以分解成的形式，其中是一个正交矩阵，是一个对称的半正定矩阵。如果可逆，那么是正定的。

第一项两个正交矩阵的乘积还是正交矩阵，第二项是半正定的因为其特征值位于的对角线上，都大于等于零。

是的对称正定平方根。同样地，我们有：

矩阵乘以行空间中的得到列空间中的，应该做相反的操作。如果有，那么，如果逆矩阵存在的话。

伪逆是一个的矩阵。可以看到，如果存在的话，那么伪逆也就等于逆矩阵，在这种情况下，。只有当或者时我们才需要伪逆，伪逆有着相同的秩。

前个列空间中的向量被送回到了行空间，其它的向量位于左零空间则被送回到了零向量。注意到是我们能得到的最接近于恒等矩阵的矩阵，它是一个投影矩阵，部分是部分是。

假设，那么是可逆的，

之前我们假设是可逆的，那么当不可解的时候，我们求助于方程得到最小二乘解。现在矩阵可能具有相关的列，即，上述方程可能有很多解，其中一个解来自于伪逆 。

我们可以验证，，因为可以分解为两部分，是其投影到列空间的分量，是左零空间的分量，乘以后为零向量。

任意零空间的向量可以被加到上得到其它的解，但是其中最短的一个。

获取更多精彩，请关注「seniusen」!