矩阵论——线性空间与线性映射

一、线性空间
  给定非空集合$\mathbf{V}$和域$\mathbf{F}$，若存在映射
$$\begin{array}{rl}& \mathbf{\sigma }:\mathbf{V}\times \mathbf{V}\to \mathbf{V}\\ & (V_1,V_2)\mapsto \mathbf{\sigma }(V_1,V_2)\end{array}$$则称$\mathbf{\sigma }$为$\mathbf{V}$上的加法。
  其中$\mathbf{V}\times \mathbf{V}$的运算称为集合的卡氏积【Cartesian product】，又名笛卡尔积，形如$${\mathbf{S}}_1\times {\mathbf{S}}_2=\{(s_1,s_2)|s_1\in {\mathbf{S}}_1,s_2\in {\mathbf{S}}_2\}$$这些有序对的全体构成了新的集合，称为其卡氏积。
  在一个运算系统中，如果该系统是封闭的，则称该系统为一个域。典型的有有理数域，实数域与复数域，而自然数等集合无法完全进行基本运算，并非封闭，不能成为域。
  先回顾通常的运算规则，包括加法的交换律$$v_1+v_2=v_2+v_1$$加法的结合律$$(v_1+v_2)+v_3=v_1+(v_2+v_3)$$加法的有零元$$\exists e\in \mathbf{V},e+v=v$$加法的有负元$$\forall v\in \mathbf{V},\exists a\in \mathbf{V},v+a=e$$记$a=-v$。以及数乘法的向量与数分配律$$(v_1+v_2)k=v_{1}k+v_{2}k$$$$v(k_1+k_2)=v{k}_1+v{k}_2$$数乘法的结合律$$v(kl)=(vk)l$$其中$k$与$l$是域$\mathbf{F}$的任意数。乘法的1元$$v1=v$$其中在数乘中，若向量为列向量，数乘法的数写在右侧；反之亦然，如此这般可以将数化为1×1的向量，由此等效为矩阵乘法。
  给定非空集合$\mathbf{V}$和域$\mathbf{F}$，在集合$\mathbf{V}$的元素之间定义加法与数乘法，若满足以上四条加法法则与四条数乘法法则，则称集合$\mathbf{V}$为域$\mathbf{F}$的线性空间。
  将几何空间作为线性空间，来理解线性空间。定义$\mathbf{V}$为有向线段的全体，$\mathbf{F}$为实数域，考察加法为平行四边形法则，数乘法为正反向伸缩，并考察八条运算规律。
  再考虑函数空间，以一定区间$X$为定义域，具有n个分量的n维向量值函数，将该向量作为一个元素，则所有这些函数的集合称为函数空间，记$$F(X,{\mathbf{R}}^n)=\{\mathbf{f}|\mathbf{f}=[f_1(x),...,f_n(x){]}^T,x\in X\}$$并考虑向量加法与数乘法，以考察八条运算规则。

二、向量空间与线性相关性
  定义向量组，由p个元素排列组成的有限序列${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$及向量组运算得到的抽象矩阵$\left(\begin{array}{c}{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}\end{array}\right)$，并定义若$\exists \mathbf{k}=[k_1,k_2,...,k_p{]}^T\ne 0,\mathbf{k}\in {\mathbf{F}}^p$，使得$$\left(\begin{array}{c}{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}\end{array}\right)\mathbf{k}=0$$则称向量组${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$为线性相关；若向量组${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$不是线性相关的，则成为线性无关。再考虑线性相关性的矩阵描述，即方程组$$\left(\begin{array}{c}{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}\end{array}\right){\left(\begin{array}{c}{x}_1,x_2,...,x_p\end{array}\right)}^T=0$$当向量组${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$线性相关时，该方程组有非零解；反之，则仅有零解。
  考虑两个向量组${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$与${\mathbf{b}}_1,{\mathbf{b}}_2,...,{\mathbf{b}}_{\mathbf{q}}$，以及向量$\mathbf{b}$，若$\exists \mathbf{k}=[k_1,k_2,...,k_p{]}^T,\mathbf{k}\in {\mathbf{F}}^p$，使得$$\left(\begin{array}{c}{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}\end{array}\right)\mathbf{k}=\mathbf{b}$$则称$\mathbf{b}$可由${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$线性表示。而每个${\mathbf{b}}_{\mathbf{i}}$都可以由${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$线性表示，则称${\mathbf{b}}_1,{\mathbf{b}}_2,...,{\mathbf{b}}_{\mathbf{q}}$可由${\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}$线性表示。矩阵表示为$$\left(\begin{array}{c}{\mathbf{a}}_1,{\mathbf{a}}_2,...,{\mathbf{a}}_{\mathbf{p}}\end{array}\right){\left(\begin{array}{c}{x}_1,x_2,...,x_p\end{array}\right)}^T=\mathbf{b}$$当$\mathbf{b}$可由${\mathbf{a}}_{\mathbf{i}}$线性表示时，该非齐次线性方程组有解。同样，向量组之间的线性关系由矩阵表示为$$\mathbf{A}{\mathbf{X}}_{p\times q}=\mathbf{B}$$当向量组之间线性相关时，该矩阵方程组有解。
  线性表示关系具有传递性。考虑三个向量组$\{{\mathbf{a}}_{\mathbf{i}}\},\{{\mathbf{b}}_{\mathbf{j}}\},\{{\mathbf{c}}_{\mathbf{k}}\}$，记当$\mathbf{A}$可由$\mathbf{B}$组合为$$\mathbf{A}{\le }_{lin}\mathbf{B}$$则有若${\mathbf{b}}_{\mathbf{j}}{\le }_{lin}{\mathbf{a}}_{\mathbf{i}},{\mathbf{c}}_{\mathbf{k}}{\le }_{lin}{\mathbf{b}}_{\mathbf{j}}$，则${\mathbf{c}}_{\mathbf{k}}{\le }_{lin}{\mathbf{a}}_{\mathbf{i}}$，其矩阵方程的表示为$$\begin{gathered} \mathbf{A}\mathbf{X}=\mathbf{B} \\ \mathbf{B}\mathbf{Y}=\mathbf{C} \end{gathered}$$有解，则$$\mathbf{A}\mathbf{Z}=\mathbf{C}$$自然有解$$\mathbf{Z}=\mathbf{X}\mathbf{Y}$$  从母序列中挑出一个子序列构成向量组，这个子序列构成的向量组为原来母序列的子组。取$\{{\mathbf{a}}_{\mathbf{i}}\}$的子组$\{{\mathbf{b}}_{\mathbf{j}}\}$，若$\{{\mathbf{b}}_{\mathbf{j}}\}$线性无关，且当满足$\{{\mathbf{a}}_{\mathbf{i}}\}$的子组$\{{\mathbf{c}}_{\mathbf{k}}\}$，$\{{\mathbf{b}}_{\mathbf{j}}\}$也是$\{{\mathbf{c}}_{\mathbf{k}}\}$的子组时，若对于$s<t$，其中$s,t$是两向量组$\{{\mathbf{b}}_{\mathbf{j}}\}$，$\{{\mathbf{c}}_{\mathbf{k}}\}$的维度，都有$\{{\mathbf{c}}_{\mathbf{k}}\}$线性相关，则此时称$\{{\mathbf{b}}_{\mathbf{j}}\}$为$\{{\mathbf{a}}_{\mathbf{i}}\}$的最大无关组。母组可由其极大线性无关组线性表示。极大线性无关组具有无关性与表示性，即组向量之间线性无关，并且母序列的任意向量组可由极大线性无关组线性表示。
  极大线性无关组的向量是不唯一的，但向量数是唯一的。考虑母序列$\mathbf{A}=\{{\mathbf{a}}_{\mathbf{i}}\}$的极大线性无关组$\mathbf{B}=\{{\mathbf{b}}_{\mathbf{j}}\}$与$\mathbf{C}=\{{\mathbf{c}}_{\mathbf{k}}\}$，其维度分别为$s,t$，有$$\begin{gathered} \mathbf{B}\mathbf{X}=\mathbf{A} \\ \mathbf{A}\mathbf{Y}=\mathbf{C} \end{gathered}$$有解，于是$\mathbf{B}\mathbf{Z}=\mathbf{C}$有解，解为${\mathbf{Z}}_{s\times t}$，考虑严格的$s<t$，则${\mathbf{Z}}_{s\times t}$可以看成不定方程，即方程数小于未知数个数的方程的系数矩阵。而易证不定方程有无数的非零解。考虑矩阵方程$$\mathbf{Z}\mathbf{W}=0$$显然，该方程有非零解。带入上述方程，有$$\mathbf{B}\mathbf{Z}\mathbf{W}=\mathbf{C}\mathbf{W}$$可以得到$$\mathbf{C}\mathbf{W}=0$$有非零解。然而$\mathbf{C}=\{{\mathbf{c}}_{\mathbf{k}}\}$是一个线性无关组，$\mathbf{C}\mathbf{W}=0$不存在非零解，故矛盾，而$s>t$亦然，证毕。
  向量组的极大线性无关组所含向量的个数称为向量组的秩【Rank】。秩是向量组的内在性质，不随极大线性无关组的选择而改变。

三、基与坐标
  取域$\mathbf{F}$上的线性空间$\mathbf{V}$，如果有正整数$\mathbf{N}$及$\mathbf{V}$中的向量组$\mathbf{A}=\{{\mathbf{a}}_{\mathbf{i}}\}$，使得$\mathbf{A}$线性无关，并且$\forall \mathbf{a}\in \mathbf{V}$都可以由$\{{\mathbf{a}}_{\mathbf{i}}\}$线性表示，即$$\mathbf{a}={\mathbf{A}}_{n\times n}{\mathbf{k}}_{n\times 1}$$则称$\mathbf{V}$是n维线性空间。则$\{{\mathbf{a}}_{\mathbf{i}}\}$称为$\mathbf{V}$的一个基向量。而$\mathbf{k}\in {\mathbf{F}}^n$称为$\mathbf{a}\in \mathbf{V}$沿着该基的坐标向量。 一个空间的不同基向量的个数是相同的，因为基都是该空间的极大线性无关组，即空间的维度是固定的。
  基或坐标系实现了抽象线性空间到标准线性空间之间的一一对应，即$\forall \tau :S_1\to S_2$，$\exists \rho :S_2\to S_1$，使得$\tau \rho$是$S_1$的恒等映射，而$\rho \tau$是$S_2$的恒等映射。这就认为这两个抽象集合是重构的。
  考虑n维空间$\mathbf{V}$的基$\{{\mathbf{a}}_{\mathbf{i}}\}$，与该基下的坐标$\mathbf{k}$，则抽象空间$\mathbf{V}$与标准线性空间${\mathbf{F}}^n$的映射关系，即$\mathbf{v}\in \mathbf{V}$可以映射为$\mathbf{k}$。$\forall \mathbf{k}\in {\mathbf{F}}^n$，其在$\mathbf{V}$的映射为$\mathbf{v}=\mathbf{a}\mathbf{k}=[{\mathbf{a}}_1,...,{\mathbf{a}}_n][k_1,...,k_n{]}^T$；对应的，若$\mathbf{v}$与${\mathbf{v}}^{\prime }$的映射均为$\mathbf{k}$，则有${\mathbf{v}}^{\prime }=[{\mathbf{a}}_1,...,{\mathbf{a}}_n][k_1^{\prime },...,k_n^{\prime }{]}^T$，由于线性无关性，有$[{\mathbf{a}}_1,...,{\mathbf{a}}_n][k_1^{\prime }-k_1,...,k_n^{\prime }-k_n{]}^T=0$，故${\mathbf{v}}^{\prime }=[{\mathbf{a}}_1,...,{\mathbf{a}}_n][k_1^{\prime },...,k_n^{\prime }{]}^T=[{\mathbf{a}}_1,...,{\mathbf{a}}_n][k_1,...,k_n{]}^T$，即$\mathbf{v}={\mathbf{v}}^{\prime }$。
  标准线性空间的基称为标准基，标准基组成的基矩阵称为单位矩阵，单位矩阵的列向量组是标准基向量组。再考虑任意的线性空间的基。所谓基者，就是一个无关向量组。对于n维空间，其秩为n，即线性无关。而对于表示性，即对任意的线性无关向量组$\mathbf{A}$，$\mathbf{A}\mathbf{x}=\mathbf{b}$一定有解，这显然成立。而该方程组亦可以看作$\mathbf{b}$沿着基向量$\mathbf{A}$展开的问题。
  考虑理解无限维空间， 定义$F_n[x]$是以x为未知项的小于n次的多项式的函数空间，则$F_n[x]$的维度为n，其基为$[1,x,...,x^{n-1}]$，其中$1\in F_n[x]$，是一个函数。则任意多项式可以由该基表示。其线性无关性，考虑证明$[1,...,x^{n-1}][a_1,...,a_n{]}^T=0$，则$a_i=0$。其中$0\in F_n[x]$。分别令$x=1,2,...,n$，对于$[x^0,...,x^{n-1}][a_1,...,a_n{]}^T=0$，有$$\left(\begin{array}{cccc}{1}^0& 1^1& ...& 1^{n-1}\\ 2^0& 2^1& ...& 2^{n-1}\\ ...& & & \\ n^0& n^1& ...& n^{n-1}\end{array}\right)\left(\begin{array}{c}{a}_1\\ a_2\\ ...\\ a_n\end{array}\right)=\left(\begin{array}{c}0\\ 0\\ ...\\ 0\end{array}\right)$$考虑范德蒙行列式，则$a_i=0$。而考虑$F_{\infty }[x]$，其不是有限维的，任意有限个向量都不是其基。考虑n维基与n次项，考虑表示性，有$[x^0,...,x^{n-1}][a_1,...,a_n{]}^T=x^n$，即$[x^0,...,x^{n-1},x^n][a_1,...,a_n,-1{]}^T=0$，再考虑无关性，有$[x^0,...,x^{n-1},x^n][a_1,...,a_n,a_{n+1}{]}^T=0$，得到解为$a_{n+1}=-1$，这与线性无关组的条件$a_i=0$矛盾，显然不是线性无关组。于是该n维不是一个基，即没有有限维基，即该空间不是一个有限维空间。

四、子空间
  考虑线性空间$\mathbf{V}$，以及$\mathbf{V}$的非空子集$\mathbf{W}$，其对加法封闭，即$\forall a,b\in \mathbf{W},a+b\in \mathbf{W}$；以及对数乘法封闭，$\forall a\in \mathbf{W},\forall k\in \mathbf{R}，ka\in \mathbf{W}$，则称$\mathbf{W}$是$\mathbf{V}$的子空间。$\mathbf{W}$也是线性空间。
  考虑线性空间$\mathbf{V}$，取向量组为$\{{\mathbf{a}}_p\}$，取集合$span\{{\mathbf{a}}_p\}=\{{\mathbf{a}}_1{c}_1+...+{\mathbf{a}}_p{c}_p|c_i\in \mathbf{F}\}$，则$span\{{\mathbf{a}}_p\}$是$\mathbf{V}$的一个子空间，并称为$\{{\mathbf{a}}_p\}$的生成子空间。反而言之，对于$\mathbf{V}$的子空间$\mathbf{W}$与$\{{\mathbf{a}}_p\}$，有$\mathbf{W}=span\{{\mathbf{a}}_p\}$，则$\{{\mathbf{a}}_p\}$是$\mathbf{W}$的一个生成组。生成组提供了子空间的一种表现方式。
  考虑矩阵$\mathbf{A}\in {\mathbf{R}}^{m\times n}$，则$\{\mathbf{x}|\mathbf{A}\mathbf{x}=0,\mathbf{x}\in {\mathbf{F}}^n\}$是${\mathbf{F}}^n$的子空间，其封闭性易证。即齐次方程组的解集合是${\mathbf{F}}^n$的子空间。定义$ker\mathbf{A}=\{\mathbf{x}|\mathbf{A}\mathbf{x}=0,\mathbf{x}\in {\mathbf{F}}^n\}$，称为$\mathbf{A}$的核，用来代表以$\mathbf{A}$为系数矩阵的线性方程组的解空间。再考虑$\{\mathbf{A}\mathbf{x}|\mathbf{x}\in {\mathbf{F}}^n\}$，其是${\mathbf{F}}^m$的子空间。定义$im\mathbf{A}$，称为$\mathbf{A}$的像，表示$\mathbf{A}$的列向量组以$\mathbf{x}$为系数的线性组合，即$\mathbf{A}$的列向量组的生成子空间。
  考虑线性空间$\mathbf{V}$的子空间$\mathbf{W}$与$\mathbf{U}$，则$\mathbf{W}$与$\mathbf{U}$的交集也是子空间，$\mathbf{W}$与$\mathbf{U}$的和也是子空间。

五、线性映射
  ${\mathbf{V}}_1$和${\mathbf{V}}_2$时$\mathbf{R}$上的线性空间，对于映射$\sigma :{\mathbf{V}}_1\to {\mathbf{V}}_2$，若有$\sigma ({\mathbf{e}}_1+{\mathbf{e}}_2)=\sigma ({\mathbf{e}}_1)+\sigma ({\mathbf{e}}_2)$的保加性，与$\sigma (\mathbf{e}k)=k\sigma (\mathbf{e})$的保数乘性，则称该映射为${\mathbf{V}}_1$到${\mathbf{V}}_2$的线性映射。当${\mathbf{V}}_1={\mathbf{V}}_2=\mathbf{V}$时，则称为$\mathbf{V}$上的线性变换。
  若线性映射$\sigma$是可逆映射，则称$\sigma$为线性同构。即任一元素存在像且像唯一，任一像都有原像且原像唯一，则该两个线性空间的结构完全相同。有限维的线性空间即与同维的标准线性空间同构。
  考虑矩阵与标准线性空间之间的线性映射，两者之间的等同性，即取矩阵$\mathbf{A}\in {\mathbf{F}}^{m\times n}$，则线性映射可表示为$$\begin{array}{rl}\mathbf{A}:& {\mathbf{F}}^n\to {\mathbf{F}}^m\\ & \mathbf{x}\mapsto \mathbf{y}=\mathbf{A}\mathbf{x}\end{array}$$反之，记${\mathbf{F}}^n$的标准基${\mathbf{e}}_1,...,{\mathbf{e}}_n$，则对于线性映射$\mathbf{A}$，考虑矩阵$\mathbf{A}=(\mathbf{A}({\mathbf{e}}_1),...,\mathbf{A}({\mathbf{e}}_n))$，则任取$\mathbf{x}\in {\mathbf{F}}^n$，有$$\begin{array}{rl}\mathbf{x}& =\mathbf{I}\mathbf{x}\\ & ={\mathbf{e}}_1{x}_1+...+{\mathbf{e}}_n{x}_n\end{array}$$则$\mathbf{x}$的映射$$\begin{array}{rl}\mathbf{A}(\mathbf{x})& =\mathbf{A}({\mathbf{e}}_1{x}_1)+...+\mathbf{A}({\mathbf{e}}_n{x}_n)\\ & =x_1\mathbf{A}({\mathbf{e}}_1)+...+x_n\mathbf{A}({\mathbf{e}}_n)\\ & =(\mathbf{A}({\mathbf{e}}_1),...,\mathbf{A}({\mathbf{e}}_n))\mathbf{x}\\ & =\mathbf{A}\mathbf{x}\end{array}$$即任一抽象的线性映射都可由矩阵实现。
  再考虑线性映射的矩阵表示，给定线性映射$$\mathbf{A}:\mathbf{V}\to \mathbf{W},dim(\mathbf{V})=n,dim(\mathbf{W})=m$$取$\mathbf{V}$的基${\mathbf{e}}_1,...,{\mathbf{e}}_n$，称其为入口基；与$\mathbf{W}$的基${\mathbf{\eta }}_1,...,{\mathbf{\eta }}_m$，称为出口基。记第j个入口基向量${\mathbf{e}}_j$的像$\mathbf{A}({\mathbf{e}}_j)$在出口基下的坐标为$(a_{1j},...,a_{mj}{)}^T$，则$$\mathbf{A}({\mathbf{e}}_j)=({\mathbf{\eta }}_1,...,{\mathbf{\eta }}_m)(a_{1j},...,a_{mj}{)}^T$$共考虑n个原像向量，则$$\mathbf{A}=\left(\begin{array}{ccc}{a}_{11}& ...& a_{1n}\\ ...& & ...\\ a_{m1}& ...& a_{mn}\end{array}\right)$$则称矩阵$\mathbf{A}$为映射$\mathbf{A}$的矩阵表示，有$$\mathbf{A}(({\mathbf{e}}_1,...,{\mathbf{e}}_n))=({\mathbf{\eta }}_1,...,{\mathbf{\eta }}_m)\mathbf{A}$$对于入口基坐标下的$\mathbf{x}$，其映射在出口基的坐标为$\mathbf{A}\mathbf{x}$，即$$\begin{array}{rl}\mathbf{A}(\mathbf{x})& =\mathbf{A}(({\mathbf{e}}_1,...,{\mathbf{e}}_n)\mathbf{x})\\ & =(\mathbf{A}({\mathbf{e}}_1),...,\mathbf{A}({\mathbf{e}}_n))\mathbf{x}\\ & =({\mathbf{\eta }}_1,...,{\mathbf{\eta }}_m)\mathbf{A}\mathbf{x}\\ & =({\mathbf{\eta }}_1,...,{\mathbf{\eta }}_m)(\mathbf{A}\mathbf{x})\end{array}$$  考虑矩阵分析表示几何空间的旋转，其角度为$\theta$，其出口基与入口基均是3维空间，将轴的正向定义为${\mathbf{e}}_3$，其他为${\mathbf{e}}_1,{\mathbf{e}}_2$，则旋转映射$$\mathbf{B}=({\mathbf{e}}_1,{\mathbf{e}}_2,{\mathbf{e}}_3)\left(\begin{array}{ccc}cos(\theta )& -sin(\theta )& 0\\ sin(\theta )& cos(\theta )& 0\\ 0& 0& 1\end{array}\right)$$  考虑矩阵论表示几何空间的反射，将镜面的正法向定义为${\mathbf{e}}_3$，其他为${\mathbf{e}}_1,{\mathbf{e}}_2$，则镜面映射$$\mathbf{C}=({\mathbf{e}}_1,{\mathbf{e}}_2,{\mathbf{e}}_3)\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right)$$

六、矩阵等价与相似
  对于$\mathbf{A},\mathbf{B}\in {\mathbf{F}}^{m\times n}$，存在可逆矩阵$\mathbf{P}\in {\mathbf{F}}^{n\times n}$与$\mathbf{Q}\in {\mathbf{F}}^{m\times m}$，使得$$\mathbf{A}\mathbf{P}=\mathbf{Q}\mathbf{B}$$则称$\mathbf{A}$与$\mathbf{B}$等价。在线性代数中，等价描述为$\mathbf{T}\mathbf{A}\mathbf{S}=\mathbf{B}$，以刻画初等行列变换，即$\mathbf{A}$可由初等变换得到$\mathbf{B}$。而从矩阵分析考虑，有$$\mathbf{A}({\mathbf{P}}_1,...,{\mathbf{P}}_n)=({\mathbf{Q}}_1,...,{\mathbf{Q}}_m)\mathbf{B}$$将矩阵$\mathbf{A}$视为线性映射$\mathbf{A}:\mathbf{x}\mapsto \mathbf{y}=\mathbf{A}\mathbf{x}$，满秩矩阵$\mathbf{P}$的列向量为n维空间的一般基，满秩矩阵$\mathbf{Q}$的列向量为m维空间的一般基，则有线性映射$\mathbf{A}$在入口基$\mathbf{P}$与出口基$\mathbf{Q}$下的矩阵表示是$\mathbf{B}$。
  考虑选择基以最简表示，即$$\mathbf{A}\mathbf{P}=\mathbf{Q}\left(\begin{array}{cc}{\mathbf{I}}_r& 0\\ 0& 0\end{array}\right)$$有$$\begin{gathered} \mathbf{A}{\mathbf{P}}_1={\mathbf{Q}}_1 \\ ... \\ \mathbf{A}{\mathbf{P}}_r={\mathbf{Q}}_{\mathbf{r}} \\ \mathbf{A}{\mathbf{P}}_{r+1}=0 \\ ... \\ \mathbf{A}{\mathbf{P}}_n=0 \end{gathered}$$在标准基${\mathbf{I}}_n$与${\mathbf{I}}_m$下，$\mathbf{A}:\mathbf{x}\mapsto \mathbf{y}=\mathbf{A}\mathbf{x}$；但在基$\mathbf{P}$与$\mathbf{Q}$下，$\mathbf{B}:{\mathbf{x}}^{\prime }\mapsto {\mathbf{y}}^{\prime }={\mathbf{B}\mathbf{x}}^{\prime }$，其中$\mathbf{B}$是最简表示，则有$$\begin{gathered} {\mathbf{y}}_1^{\prime }={\mathbf{x}}_1^{\prime } \\ ... \\ {\mathbf{y}}_r^{\prime }={\mathbf{x}}_r^{\prime } \\ {\mathbf{y}}_{r+1}^{\prime }=0 \\ ... \\ {\mathbf{y}}_m^{\prime }=0 \end{gathered}$$使得分量完全解耦。
  对于$\mathbf{A},\mathbf{B}\in {\mathbf{F}}^{n\times n}$，若存在n阶可逆矩阵$\mathbf{P}$使得$$\mathbf{A}\mathbf{P}=\mathbf{P}\mathbf{B}$$则称$\mathbf{A}$与$\mathbf{B}$相似。将矩阵$\mathbf{A}$视为线性变换$\mathbf{A}:\mathbf{x}\mapsto \mathbf{y}=\mathbf{A}\mathbf{x}$，满秩矩阵$\mathbf{P}$的列向量为n维空间的一般基，则有线性变换$\mathbf{A}$在入口基与出口基$\mathbf{P}$下的矩阵表示是$\mathbf{B}$。
  首先定义方阵的不变子空间，若$\mathbf{A}\in {\mathbf{F}}^{n\times n}$，$\mathbf{W}\in {\mathbf{F}}^n$是${\mathbf{F}}^n$的子空间，若$\mathbf{A}(\mathbf{W})\subseteq \mathbf{W}$，则称$\mathbf{W}$是$\mathbf{A}$的不变子空间。
  考虑不变子空间与相似最简化的等价性，对于$\mathbf{A}\mathbf{P}=\mathbf{P}\mathbf{B}$，令$\mathbf{P}=({\mathbf{P}}_1,{\mathbf{P}}_2)$，相应的，$$\mathbf{B}=\left(\begin{array}{cc}{\mathbf{B}}_{11}& {\mathbf{B}}_{12}\\ {\mathbf{B}}_{21}& {\mathbf{B}}_{22}\end{array}\right)$$有${\mathbf{B}}_{21}=0$，则$im{\mathbf{P}}_1$是$\mathbf{A}$的不变子空间，而${\mathbf{B}}_{12}=0$，则$im{\mathbf{P}}_2$是$\mathbf{A}$的不变子空间。证明如下$$\begin{gathered} {\mathbf{A}\mathbf{P}}_1=({\mathbf{P}}_1,{\mathbf{P}}_2)({\mathbf{B}}_{11},{\mathbf{B}}_{21}{)}^T \\ {\mathbf{A}\mathbf{P}}_2=({\mathbf{P}}_1,{\mathbf{P}}_2)({\mathbf{B}}_{12},{\mathbf{B}}_{22}{)}^T \end{gathered}$$要证，$im{\mathbf{P}}_1$是$\mathbf{A}$的不变子空间，则$\mathbf{A}im{\mathbf{P}}_1\subseteq im{\mathbf{P}}_1$，其中$im{\mathbf{P}}_1$是${\mathbf{P}}_1$列向量的线性组合。当${\mathbf{B}}_{21}=0$，有$${\mathbf{A}\mathbf{P}}_1=({\mathbf{p}}_1,...,{\mathbf{p}}_n)\mathbf{B}={\mathbf{P}}_1\mathbf{B},{\mathbf{A}\mathbf{p}}_j\in im{\mathbf{P}}_1,j=1,...,n$$显然成立。${\mathbf{B}}_{12}=0$同理。
  反之，若有不变子空间，就一定有可以三角化的矩阵。考虑$\mathbf{A}$的不变子空间$\mathbf{W}=span\{{\mathbf{v}}_1,...,{\mathbf{v}}_t\}$，则有可逆矩阵$\mathbf{P}$使得$\mathbf{A}$三角化为$\mathbf{B}$，即$${\mathbf{P}}_1=({\mathbf{v}}_1,...,{\mathbf{v}}_t),{\mathbf{P}}_2=({\mathbf{u}}_1,...,{\mathbf{u}}_{n-t})$$记$\mathbf{P}=({\mathbf{P}}_1,{\mathbf{P}}_2)$，则$\mathbf{A}\mathbf{P}$就是一个三角矩阵。其中${\mathbf{P}}_2$是一个扩充矩阵，其使得$\mathbf{P}$是一个可逆方阵。
  考虑相似对角化的条件。取$\mathbf{A}\mathbf{P}=\mathbf{P}\mathbf{\Lambda }$，则$\mathbf{P}$的每一维度向量张成的空间$im{\mathbf{p}}_j$都是$\mathbf{A}$的不变子空间。由此，定义特征值与特征向量，考虑$\mathbf{A}\mathbf{p}=\mathbf{p}\lambda$，则称$\lambda$是矩阵的一个特征值，而$\mathbf{p}$是其相应的一个特征向量。其意义为一维不变子空间的映射仍在该子空间，即一维向量的线性组合。那么，$\mathbf{P}$的每一维度向量张成的空间$im{\mathbf{p}}_j$都是$\mathbf{A}$的不变子空间，等效为$\mathbf{A}$可以相似，等价于存在有n个线性无关的向量。