从线代理论到PCA算法（三）

PCA算法的线代理论

升维与降维张成空间的再分析

书接上文，当变换矩阵A不是一个方阵的时候，基底的维度会因为m和n的大小关系不再构成基底。那么新的底向量是如何构成的呢？
首先讨论零向量$0$,这个向量不论如何矩阵变换得到的都是他自己，因此我们可以得到，不论采取何种矩阵变换，新的空间中的零点（原点）永远不变。
当m>n时，矩阵变换对基底变换的作用结果就是将其变为n个高维向量，这n个高维向量如果是线性无关的，此时张成的空间就是一个n维平面。或者说，$R^n$空间被映射成为在$R^m$空间的一个穿过原点的n维空间。这n个高维向量如果线性相关，那么此时张成的空间将是一个比n维更低维度的空间。
当m

方阵变换是否改变空间维度

假设原基底向量组是一个初始标准单位向量组，那么n维方阵作用下的基地变换结果就是得到了以n维方阵各列为可能基底向量的新的向量组，如果列向量均为线性无关的，那么映射后的空间仍然是等维度的n维空间。
如果变换矩阵的各个列所组成的新的向量组线性相关，此时得到的基底将无法表示n维空间的所有向量，也就是说，新的空间是比n维更低维度的空间。
通过以上三点分析不难发现，不论是何种基底变换，新的向量组所能够线性表示的空间维度只会比初始标准单位向量组更少。

如何更明朗地分析映射后的空间形态

我们将一个空间在使用了矩阵变换基底所张成的新空间称为原空间在矩阵作用下的像空间。那么是什么在决定着像空间的维度呢？这个问题要分析基底和矩阵两个方面。
简化起见我们还是先考虑初始标准单位正交基情况的变换结果。我们知道此时基底变换的结果就是变换矩阵各列组成的“新基底向量”，那么这些向量的线性相关关系就决定了基底变换后的空间形态。这些向量的线性相关关系可以通过变换矩阵的秩来确定。或者说，矩阵的秩决定了矩阵线性无关列的个数，从而决定了变换后的空间形态。
当初始基底不是初始标准单位正交基时，但是各个基底向量组成的矩阵仍然应当是满秩矩阵，那么这个线性无关组的矩阵就可以通过初始标准单位正交基构成矩阵的初等变换得到，因此相乘后的结果就可以视为初始标准单位正交基矩阵经过两次基底变换的结果，且第一次变换使用的是一个满秩的n阶方阵A，第二次使用n列m行矩阵B,假设n=m=2,坐标c=(x,y)，推导过程如下：
$$\left[\begin{array}{cc}{b}_1& b_2\\ b_3& b_4\end{array}\right](x\left[\begin{array}{c}{a}_1\\ a_3\end{array}\right]+y\left[\begin{array}{c}{a}_2\\ a_4\end{array}\right])=\left[\begin{array}{cc}{b}_1& b_2\\ b_3& b_4\end{array}\right]\left[\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=BA\left[\begin{array}{c}x\\ y\end{array}\right]$$此时最终基底向量组的变化结果是矩阵BA的各个列，其线性相关性取决于BA的秩，根据矩阵乘法相关理论：两个矩阵乘积的秩不大于其每个因子的秩；特别的当其中一个因子可逆时，那么乘积的秩等于另一个因子的秩。由于A满秩必然可逆，因此乘积的秩就是B的秩。
综上，对于已经可以作为基底的向量组来说，当其发生基底变换时，变换结果的空间形态完全决定于变换矩阵的秩，同时又因为秩有限的变化关系，最终的得到的“新基底向量组”所能线性表示的空间一定是小于等于n维，其像空间整体的空间形态由变换矩阵决定。

矩阵是否可逆在空间变换中的解释

我们在线代中知道，矩阵可逆的充要条件是满秩。当变换矩阵满秩时其逆矩阵就会存在，其结果就是将新的基底变回原基底。那么我们通过零空间、列空间等方法分析某些不可逆矩阵为什么没有逆矩阵：
零空间是指对于变换矩阵A，变换后变为零向量的所有原向量的集合称为A的零空间。
当矩阵不是方阵时，假设变换前A零空间的某个向量是x,我们知道得到的向量维度是m维，那么此时就会得到：
A x = [ a 11 a 12 a 13 . . . a 1 n a 21 a 22 a 23 . . . a 2 n . . . . . . . . . . . . . . . a m 1 a m 2 a m 3 . . . a m n ] [ x 1 . . . x n ] = [ b 1 b 2 . . . b m ] , b 1 = . . . = b m = 0 Ax=\begin{bmatrix} a_{11} & a_{12} & a_{13} & ... &a_{1n}\\ a_{21} & a_{22} & a_{23} & ... &a_{2n}\\ ... & ... & ... & ... &...\\ a_{m1} & a_{m2} & a_{m3} & ... &a_{mn} \end{bmatrix} \begin{bmatrix}x_1 \\...\\x_n \end{bmatrix} = \begin{bmatrix}b_1 \\b_2\\...\\ b_m \end{bmatrix} ,b_1=...=b_m=0 Ax= ​a11​a21​...am1​​a12​a22​...am2​​a13​a23​...am3​​............​a1n​a2n​...amn​​ ​ ​x1​...xn​​ ​= ​b1​b2​...bm​​ ​,b1​=...=bm​=0将这个方程展开就可以得到m个以$x_1$到$x_n$组成的n元齐次线性方程组，那么对于左侧矩阵A而言，当n>m时，左侧矩阵的秩一定小于等于m从而小于n，因此方程组有无穷多个非零解，因而有无穷多个向量经过矩阵变换得到零向量，因此矩阵的逆不存在。
列空间是指在n 列空间的维度小于像空间的维度，这表明，当n 那么方阵可逆的条件是什么呢？我们已经知道就是A的各列是线性无关的，或者说就是A满秩。那么这个变换对于零空间有什么特点呢？此时上面的式子变成了：
A x = [ a 11 a 12 a 13 . . . a 1 n a 21 a 22 a 23 . . . a 2 n . . . . . . . . . . . . . . . a n 1 a n 2 a n 3 . . . a n n ] [ x 1 . . . x n ] = [ b 1 . . . b n ] , b 1 = . . . = b n = 0 Ax=\begin{bmatrix} a_{11} & a_{12} & a_{13} & ... &a_{1n}\\ a_{21} & a_{22} & a_{23} & ... &a_{2n}\\ ... & ... & ... & ... &...\\ a_{n1} & a_{n2} & a_{n3} & ... &a_{nn} \end{bmatrix} \begin{bmatrix}x_1 \\...\\x_n \end{bmatrix} = \begin{bmatrix}b_1 \\...\\ b_n \end{bmatrix} ,b_1=...=b_n=0 Ax= ​a11​a21​...an1​​a12​a22​...an2​​a13​a23​...an3​​............​a1n​a2n​...ann​​ ​ ​x1​...xn​​ ​= ​b1​...bn​​ ​,b1​=...=bn​=0这个矩阵对任意x有唯一解就意味着逆矩阵是存在的，那么就是说左侧这个A必须满秩，那么此时的零空间就只有一个向量，也就是说零空间的维度为0；对于列空间而言，就是要让变化后的空间正好与原来的n维空间等价，也就是说列空间的维度是n。
我们将m维空间中n个互不相关的向量(n 以上所介绍的零空间、列空间、向量空间都是对应m维空间的子空间。此外将矩阵转置一次后新矩阵的列空间称为原矩阵的行空间，新矩阵的零空间称为左零空间。

四个子空间的秩的关系

在一个矩阵A($m$ x $n$)所处的最大维度空间中，矩阵的行空间、列空间的秩和矩阵的秩是相同的(均为r)，零空间、左零空间的秩分别是n-r和m-r。