矩阵论学习笔记一：线性空间与线性变换

参考书：《矩阵论》第3版，程云鹏 张凯院 徐仲编著 西北工业大学出版社

1. 线性空间

    1）集合与映射

        a）集合：数域

        b）映射：定义；变换；运算

    2）线性空间及其性质

        a）线性空间是某类事物从量的方面的一个抽象

        b）线性空间（向量空间）定义：

            定义内容；线性运算；

            实线性空间、复线性空间；矩阵空间；

        c）定理1.1：

            内容：线性空间有唯一的零元素，任意元素也有唯一的负元素；

            证明：反证法

            向量的减法（由负元素引出）

        d）线性空间的维数：线性空间中线性无关向量组所含向量最大个数

    3）线性空间的基与坐标（（V是数域K上的线性空间））

        a）线性空间的基：

            定义：设V是数域K上的线性空间，x1,...xr(r>=1)是属于V的任意r个向量，如果它满足：（1）x1,...,xr线性无关；（2）V中任一向量x都是x1,...xr的线性组合，则称x1,...xr为V的一个基或基底，并称xi(i=1,...,r)为基向量

            线性空间的维数就是其基中所含向量的个数

            齐次线性方程组AX=0的基础解系中所含的向量，就是其解空间的一个基

            一个线性空间的基不是唯一的

        b）坐标：

            坐标：线性空间的V一个基x1,...xn为它的一个坐标系。设向量x属于线性空间V，它在该基下的线性表示为x=a1*x1+...+an*xn，则称a1,...,an为x在该坐标系中的坐标或分量

            在不同的坐标系（基）中同一向量的坐标一般是不同

       c）定理1.2：设x1,...xn为线性空间的V一个基，则x可唯一的表示成x1,...,xn的线性组合

       d）向量的坐标随基的不同而不同；

       e）维数与所考虑的数域有关

    4）基变换与坐标变换

        a）基变换：

            由旧基到新基的过渡矩阵；

            基变换公式；

            过渡矩阵是非奇异矩阵

        b）向量的坐标变换

            基变换下向量坐标的变换公式：内容；证明

        c）过渡矩阵和新坐标的计算

    5）线性子空间

        a）线性子空间的定义

            内容：非空子集合...

            每个非零线性空间至少有两个子空间：自身；零子空间

            零子空间不含线性无关的向量，因此它没有基，规定其维数为零

            dimV1<=dimV

        b）线性子空间的生成问题 ：L(X1,...,Xm) = {K1*X1+...+Km*Xm}

        c）矩阵的值域：

            R(A)= L(a1,...,an)

            rankA= dimR(A)

        d）矩阵的核空间（零空间）：N(A)={X | AX = 0}

        e）矩阵的零度：n(A) = dimN(A)

        f）定理1.3：

            内容：设V1是数域K上的n维线性空间Vn的一个m维子空间，x1,...,xm是V1的基，则这m个基向量必可扩充为Vn的一个基

            证明：线性空间基定义、线性空间的生成

    6）子空间的交与和

        a）子空间的交

            定理1.4：数域k上的两个线性子空间的交也是该线性空间的子空间

            运算律：交换律；结合律

        b）子空间的和

            子空间的和定义

            运算律：交换律；结合律

        c）定理1.6（维数公式）：关于两子空间的交与和的维数

            内容：dimV1+dimV2 = dim(V1与V2的和)+dim(V1与V2的交)

            证明：分类；定理1.3；基定义；向量线性无关

        d）直和（直接和）：

            零空间的表示法不唯一

            直和定义：如果V1+V2中的任一向量只能唯一的表示为子空间V1的一个向量与子空间V2的一个向量和，则称V1+V2为V1与V2的直和

            子空间直和推广到多个子空间情形

        e）定理1.7：

            内容：和V1+V2为直和的充要条件为V1与V2的交集为零空间

            证明：零向量；直和定义；反证法

            推论1：V1，V2是线性空间V的子空间，U= V1+V2，则U为V1和V2的直和的充要条件为dim(U) = dim(V1+V2) = dimV1+dimV2；证明据维数公式、零空间的维数为零

            推论2：如果x1,...,xk为V1的基，y1,...,yl为V2的基，且V1+V2为直和，则x1,...,xk,y1,...,yl为V1与V2直和的基；证明据推论1、向量线性无关定义、线性空间必包含零空间

2. 线性变换及其矩阵

    线性空间是某类事物从量方面的一个抽象，而线性变换则研究线性空间中元素之间的基本联系。

    1）线性变换及其运算

        a）线性变换的定义

            线性空间的变换（算子）：设V是数域K上的线性空间，T是V到自身的一个映射，使对属于V的任一向量x，V中都有唯一的向量y与之对应，则称T是V的一个变换或算子，记为Tx = y。称y为x在T下的象，x是y的原象（象源）

            线性变换：如果数域K上的线性空间V的一个变换T具有下列性质：T(k*x + l*y) = k*Tx +l*Ty，其中x，y数域V，k，l属于K，则称T为V的一个线性变换或线性算子。即变换T对向量的线性运算是封闭的

            线性变换的性质：T(零向量）=零向量；T(-x) = -Tx； 线性变换把线性相关向量组变为线性相关向量组，可能把线性无关的向量组变为线性相关的（零变换）

        b）线性变换值域和核的概念

            线性变换的值域：R(T) = {Tx | x属于数域K上的线性空间V}

            线性变换的核：N(T) = {Tx = 零向量，x属于V}

            定理1.8：线性空间V的线性变换T的值域和核都是V的线性子空间

            线性变换的象子空间、核子空间

            线性变换的秩和亏（零度）定义1.13：dimR(T)/dimN(T)

            设n维线性空间V的基为x1,...,xn，T是V中的线性变换，则R(T) = L(Tx1,...,Txn)

        c）线性变换的运算

            单位变换和零变换：Te(x) = x；T0(x) = 零向量

            两变换相等

            线性变换的加法：定义；负变换；性质（4条）

            线性变换与数的乘法：定义；性质（4条）

            线性变换的乘法：定义；性质（3条）；一般不满足交换律；T*Te = Te*T = T

            逆变换：定义；意义；存在的充要条件（T是一对一的变换）；线性变换的逆变换也是线性变换

            线性变换的多项式：n次幂、零次幂定义；线性变换的指数法则；可逆线性变换的负整数次幂；线性变换的多项式；同一线性变换的多项式相乘是可交换的

    2）线性变换的矩阵表示

        a）有限维线性空间的向量可以用坐标表示出来，可通过坐标把线性变换用矩阵表示出来，从而可把比较抽象的线性变换转化为具体的矩阵来处理。因为T是线性变换，而V中任一向量都可由基向量唯一线性表示，所以只要能够确定出V的基向量的象，则V中任一向量的象也就确定了

        b）线性变换的矩阵定义：

             定义：T是n维线性空间V的线性变换，x1,...,xn是V的一个基，则V中任一向量的象由基象组Tx1,...,Txn唯一确定，T(x1,...,xn) = (Tx1,...,Txn) = (x1,...,xn)*A

            对于任意n阶矩阵A，存在唯一的一个线性变换T

            数乘变换（特例：零变换、单位变换）、数量矩阵（特例：零矩阵、单位矩阵）

            同一线性变换在不同基下的矩阵一般不相同

            A是n维线性空间的线性变换T的矩阵，则dimR(T) = dimR(A),dimN(T) = dimN(A)；dimR(T)+dimN(T) = n

        c）线性变换的运算的矩阵

            定理1.9：线性变换的和、与数相乘、乘、逆变换的矩阵

            定理1.9推论：线性变换的对多项式的矩阵-->方阵A的多项式

            定理1.10：线性变换的坐标

        d）线性变换的矩阵如何随基改变而改变

            定理1.11：不同基下，同一线性变换的矩阵的关系

            矩阵相似（定义1.15）：定义；线性变换在不同基下的矩阵是相似的，反之，若两矩阵相似，则他们可看为是同一变换在不同基下的矩阵；性质（反身、对称、传递）

            相似类

            若B=（P逆）*A*P，且f(t)是数域K上的多项式，则矩阵多项式f（B）与f（A）之间的关系f（B）= （P逆）* f（A）*P

    3）特征值与特征向量

        a）开始讨论如何选择线性空间的基，使线性变换在该基下的矩阵形状最简单的问题

        b）线性变换的特征值和特征向量的定义

            定义：设T是数域K上的n维线性空间V的线性变换，且对K中某一数a，存在属于V的非零向量x，使得Tx = ax成立，则称a为T的特征值，x为T的属于a的特征向量。在几何上，特征向量x的方位，经过线性变化后保持不变

            特征向量不被特征值唯一确定，特征值被特征向量唯一确定

            矩阵的特征多项式、特征值（根）、特征向量

            线性变换T的特征值与该线性变换的矩阵的特征值和特征向量相一致

            计算线性变换特征值和特征向量的步骤

            线性变换的特征子空间

        c）矩阵的迹

            定义：trA = a11+...+aii。矩阵A的所有特征值的和等于A的迹，矩阵A的所有特征值的积等于det（A）

            定理1.12：A为m*n矩阵，B为n*m矩阵，则tr(AB) = tr(BA)

            定理1.13：相似矩阵有相同的迹；证明（定理1.12）

            定理1.14：相似矩阵有相同的特征多项式，因此也有相同的特征值；证明（特征多项式定义，行列式）；线性变换的矩阵的特征多项式与基的选择无关，直接被线性变换所决定

            定理1.15：设A1,...,Am均为方阵，A= diag(A1,...,Am)，则det(A的特征多项式) = det(A1的特征多项式)*...*det(Am的特征多项式)

            定理1.16（Sylvester）：A为m*n矩阵，B为n*m矩阵，a为特征值，则（a的n次方）*（AB的特征多项式） = （a的m次方）*（BA的特征多项式）

            定理1.17：任意n阶矩阵与三角矩阵相似；证明：逆矩阵、特征值与特征向量定义、定理1.14

            计算矩阵的相似三角矩阵：1.17中构造矩阵P的过程时，为使步骤减少，可用矩阵A的多个线性无关的特征向量作为P1的前几列

            定理1.18（Hamilton-Cayley）：n阶矩阵A是其特征多项式的矩阵根（零点）

            计算矩阵的多项式：据定理1.18

        d）以矩阵为根的多项式的关系

            矩阵的最小多项式定义定义1.19：首项系数是1（首1），次数最小，且以矩阵A为根的a的多项式，称为A的最小多项式，m(a)

            定理1.19：矩阵A的最小多项式可整除以A为根的任意首1多项式，且最小多项式是唯一的

            定理1.20：矩阵的最小多项式与其特征多项式的零点相同；证明：定理1.18、定理1.19、

            定理1.21（求最小多项式）：n阶矩阵的A的最小多项式= A的特征多项式/A的特征矩阵的全体n-1阶子式的最大公因式

            相似矩阵有相同的最小多项式（矩阵相似的必要条件）：证明据1.19

        e）属于不同的特征值之间的特征向量的关系问题

            定理1.22：矩阵A的不同特征值对应的特征向量组成的向量组线性无关

            定理1.23（定理1.22推广）：若a1,...,ak是矩阵A的不同特征值，而xi1,...xiri是属于ai的线性无关的特征向量（i = 1,2,...,k）则向量机组x11,...,x1r1,...,xk1,...xkrk也线性无关

    4）对角矩阵

        a）讨论哪些线性在适当基下的矩阵是对角矩阵的问题

        b）定理1.24：线性空间的线性变换在某一基下的矩阵可以为对角矩阵的充要条件是该线性变换有n个线性无关的特征向量

        c）定理1.25：n阶矩阵A与对角矩阵相似的充要条件是A有n个线性无关的特征向量，或A有完备的特征向量系

        d）定理1.26（矩阵对对角矩阵相似的充分条件）：如果n阶矩阵A有n个不同的特征值，则A与对角矩阵相似

    5）不变子空间

        a）讨论子空间与线性变换的关系，从而进一步简化线性变换的矩阵

        b）线性变换的不变子空间：

            定义1.20：如果T是线性空间V的线性变换，V1是V的子空间，并且对于任意一个属于V1的向量x，都有Tx属于V1，则称V1是T的不变子空间

            线性变换T的属于特征值a的特征子空间为T的不变子空间

            整个线性空间V和零子空间是每个线性变换的不变子空间

            线性子空间的交与和仍为线性变换的不变子空间

            线性变换R的值域R(T)与核N(T)都是T的不变子空间

        c）如何使用线性变换的子空间来简化线性变换的矩阵

            定理1.27：设T是n维线性空间V的线性变换，且V可分解为s个T的不变子空间的直和，又再每个不变子空间Vi中取基xi1,...,ximi(i = 1,...,s)，把它们合起来作为V的基，则T在该基下的矩阵A = diag（A1,...,As），其中Ai就是T在Vi的基xi1,...,ximi下的矩阵。矩阵分解为准对角矩阵与线性空间分解为不变子空间的直和是相当的

            定理1.27的推论：线性空间V的线性变换T在V的某一基下的矩阵为对角矩阵的充要条件是V可分解为n个T的一维特征子空间的直和

            定理1.27的推论的推广：设T是线性空间V的线性变换，a1,...,as是T的全部不同的特征值，则T在某一基下的矩阵为对角矩阵的充要条件为dim(与a1对应的特征子空间)+...+dim(as对应的特征子空间) = n

    6）Jordan标准型介绍

          a）与矩阵A相似的全体矩阵中最简单的矩阵作为A的标准型。对角阵最好，但不是每个矩阵都与对角阵相似

          b）Jordan标准型的定义：

            定理1.28：内容；证明（定理1.27）

            Jordan标准型的定义：Jordan标准型、Jordan块

          c）Jordan标准型的求法

            定理1.29（一般矩阵Jordan标准型的存在性）：

            多项式矩阵的不变因子、不变因式、i阶行列式因子、初等因子、初等因子组

            定理1.30：每个n阶复矩阵A都与一个Jordan标准型相似，这个Jordan标准型除去其中Jordan块的排列次序外，是被A唯一确定的

            定理1.29中非奇异矩阵P的求法：求A的特征向量和广义特征向量

            定理1.30的应用：若a1,...,as是A的特征值，则A的k次幂的特征值只能是a1的k次幂，...，as的k次幂；求解线性微分方程组          

3. 两个特殊的线性空间

    1）Euclid空间的定义与性质

        a）Euclid空间（欧式空间、实内积空间）定义：

            定义1.22：设V是实数域K上的线性空间，对于V中任意两个向量x与y，按某规则定义一个实数，用(x,y)表示，且它满足四个条件：交换律、分配律、齐次性、非负性，则称V为Euclid空间

            因为向量的内积与向量的线性运算是彼此无关的运算，所以无论内积如何规定，都不会影响实线性空间的维数

           典型内积：n维向量空间中的任一两个向量、实线性空间中任意两个连续函数、n*n维线性空间中，任意两个矩阵

        b）内积的基本性质（3条）：

        c）度量矩阵（Gram矩阵）：

            定义：对称正定

            知道基的度量矩阵后，任意两向量的内积就可通过通过1.3.4和1.3.5来计算

            度量矩阵完全确定了内积，于是可用任意正定矩阵作为度量矩阵的来规定内积

            基于线性空间的两基的度量矩阵是合同的；证明据过渡矩阵、线性空间中任一向量是其基的线性表示、内积性质3

        d）向量的长度：

            定义1.23：在欧式空间中，非负实数sqrt((x,x))称为V中向量x的长度（模、范数）

            性质（2条）：|k*x| = |k|*|x|；|x+y| <= |x| + |y|

            单位向量：

            把向量单位化或规范化

            柯西-施瓦茨不等式|(x,y)|<= |x|*|y|

        e）非零向量的夹角：

            定义1.24： = arccos((x,y)/(|x|*|y|)) 0<= <=π

            n维欧式空间和欧式空间C(a,b)的Schwarz不等式

            三角不等式：|x+y|*|x+y| <= (|x|+|y|)*(|x|+|y|)

    2）正交性

        a）两向量正交（垂直）定义1.25：如果对于欧式空间中的两向量x与y，有(x,y) = 0，则称...

        b）正交向量组定义1.26：若欧式空间中一组非零向量两两正交

        c）欧式空间中的商高定理（勾股弦定理）定理1.31：若向量x与y正交则|x+y|*|x+y| = |x|*|x| + |y|*|y|；证明据定义1.26

        d）正交向量组的无关性定理1.32：正交向量组必线性无关；证明据定义1.26

        e）标准正交基：

            标准正交基定义1.27：在n维欧式空间V中，由n个非零向量组成的正交向量组称为V的正交基；由单位向量组成的正交基称为标准正交基

            标准正交基

            一个基为标准正交基的充要条件是它的度量矩阵为单位矩阵

            标准正交基存在的意义：简化内积形式；向量的坐标可通过内积表达

          f）n维欧式空间中标准正交基的求法

            定理1.33：对于欧式空间的任一基都可找到一个标准正交基。任一非零欧式空间都有正交基和标准正交基

            求欧式空间的基的标准正交基（把基正交化、把基正交规范化）：Schmidt正交化方法

         g）欧式空间中子空间的正交性问题

            性质1：若向量组的每个向量均与向量y正交，则该向量组的线性组合也与向量y正交

            性质2：设V1为n维欧式空间的子空间，向量y与V1正交的充要条件是y与V1的每个基向量正交

            正交补空间（正交补）

            定理1.34：任一欧式空间为其子空间V1及V1的补空间的直和

            定理1.34推论：设V1为n维欧式空间的子空间，dim(V1)+dim(V1的补空间） = n

            正交补空间的应用：正交补空间与齐次线性方程组的解之间的关系：齐次线性方程组的解空间就是系数矩阵行向量组生成的子空间的正交补空间

            定理1.35：对于任意m*n的矩阵A有：R(A)的正交补空间= N(A转置)；m维欧式空间是R(A)和N(A转置)的直和；R(A转置)的正交补空间=N(A);n维欧式空间是R(A转置)与N(A)的直和

    3）正交变换与正交矩阵

        a）保持向量长度不变的变换

        b）正交变换

            定义1.28：设V为欧式空间，T是V的一个线性变换，如果T保持V中任一向量x的长度不变，既有（x，x） = （Tx，Tx），则称T是V的一个正交变换

            定理1.36：线性变换T为正交变换的充要条件是对于欧式空间中的任一向量x都有（x，y） = （Tx，Ty）

        c）正交矩阵

            定义1.29：如果实方阵Q满足（Q转置）*Q = 单位矩阵 或 Q逆矩阵 = Q转置，则称Q为正交矩阵

            矩阵为正交矩阵的充要条件：其列向量两两正交

        d）定理1.37：欧式空间的线性变换是正交变换的充要条件是，它对于标准正交基的矩阵是正交矩阵

            定理1.37推论1：正交矩阵是非奇异的

            定理1.37推论2：正交矩阵的逆矩阵仍然是正交矩阵

            定理1.37推论2：两个正交矩阵的乘积仍为正交矩阵

            欧式空间的两个正交变换的乘积还是正交变换；正交变换的逆变换也是正交变换

           从一标准正交基改变到另一标准正交基的过渡矩阵：正交矩阵

    4）对称变换与对称矩阵

        a）定义1.30：设T是欧式空间V的一个线性变换，且对V中任意两个向量x，y，都有（Tx，y）=（x，Ty）成立，则称T为V中的一个对称变换

        b）定理1.38：欧式空间的线性变换是实对称变换的充要条件是，它对于标准正交基的矩阵是实对称矩阵

        c）实对称矩阵的性质：

            定理1.39：是对称矩阵的特征值都是实数

            定理1.40：实对称矩阵的不同特征值所对应的特征向量是正交的

    5）酋空间介绍

        a）酋空间是一个特殊的复线性空间。酋空间的理论与欧式空间的理论很相近，有一套平行的理论

        b）酋空间定义1.31

        c）由内基定义，得

            性质（3条）、长度（模）、柯西施瓦茨不等式、夹角、正交基和标准正交基、酋变换、酋矩阵、Hermite变换（酋对称变换）

        d）Schur定理定理1.41：定理1.17的加强版

        e）正规矩阵

            定义1.31

            正交矩阵、酋矩阵、对角矩阵、实对称矩阵及Hermite矩阵

            定理1.42：（1）n*n的复矩阵空间中的A酋相似于对角矩阵的充要条件是A为正规矩阵；（2）若n*n的实矩阵空间中的A的特征值均为实数，则A正交相似于对称矩阵的充要条件是A为正规矩阵

            定理1.42的推论1：实对称矩阵正交相似于对角矩阵

            定理1.42的推论2：若T是n维欧式空间V的对称变换，则在V中存在标准正交基，使T在该基下的矩阵为对角矩阵

            Hermite矩阵A的谱分解