一对矩阵的相关性_矩阵分析学习笔记（1）

线性空间与线性映射

一、线性空间的概念：

1. 记实数域 为
   , 复数域为
   ， 统称数域
   。设有一非空
   集合记为
   , 对集合
   中的元素定义二元加法运算和数乘运算。（二元加法运算和数乘运算是一种线性映射，集合
   的元素可以为：数组（n tuple）、函数（多项式函数、连续函数、分段可积函数等）、有向线段等）
2. 二元加法运算+ :
   ： 对于
   中任意元素
   和
   , 在
   中都有唯一元素
   与之对应，使得
   。 加法运算满足以下4条性质： 1. 交换律：
   2. 结合律：
   3. 零元素：在
   中存在零元
   ，满足
   4. 负元素：对于
   中 的任意元素
   , 都在
   中 存在元素
   , 满足
3. 二元数乘运算
   :
   ： 对于
   中 的任意元素
   , 与数域
   中的数
   定义数乘运算，在
   中存在元素
   , 使得
   。数乘运算满足以下4条性质： 1.
   2.
   3 .
   4.
   其中
   与
   是集合
   中的元素，
   和
   是数域
   中的数。

且则称 集合

是 数域

上的线性空间 。

remark 1: 空间这个概念只是为了类比2维或3维几何空间的一个概念，更好的理解为元素的集合，线性空间中的元素统称为抽象向量(The form that vectors take doesn't really matter, it can be anything)。 remark 2: 集合

的中元素为：数组、函数、有向线段时，对应称为数域空间、函数空间、几何空间。

remark 3: 特别地，对于几何空间（有向线段的集合），加法运算采用平行四边形或三角形法则进行计算，数乘运算表示对有向线段进行同向或反向伸缩。

1.1 线性相关性：
线性相关性可以用线性非齐次方程组的解集来描述， 设抽象矩阵

由

个抽象向量组成，方程组

1. 若方程（1）不存在非零解(即只有
   , 式（1）成立)，则称向量组
   线性无关；
2. 若方程（1）存在非零解，则称向量组
   线性相关；

1.2 有限维线性空间

的

基（坐标系）与坐标：
设集合

是数域

上的线性空间， 有正整数

及

中向量组

满足以下两个条件：

1. （线性无关性）
   线性无关；
2. （生成性） 任取向量
   均可由
   线性表示：即

则称

是

上的

维线性空间。 向量组

为线性空间

的一组基（该空间的一种坐标系）， 矩阵

称为基矩阵，向量

称为抽象向量

在基

下的坐标。

remark 1: 基向量组的线性无关线保证空间中的抽象向量在该基下的坐标是唯一的，生成性保证空间中的任意向量在该基下都有坐标；

remark 2: 抽象向量的坐标

，因此基（坐标系）实现了

维线性空间到

维标准线性空间

的一一对应（基（坐标系）提供了一种将抽象向量具体化的操作）；

例：

是函数空间

中的一个元素，则

则

被具体化为

。

remark 3:

维线性空间的基向量组

要满足3个条件： （1）向量组个数为

；（2）

线性无关（保证该空间中每一个点的坐标的唯一性）；（3）可表示性，即 任取

,

有解（就是能找到对应坐标）；

remark 4: 线性空间的基不是唯一的（一个空间可以有不同的坐标系），一个向量在不同的基下的坐标也是不一样的。设向量组

与向量组

是

维线性空间

中的两组不同的基，且有

则称方阵

为基向量组

到基向量组

的过渡矩阵。特别地，当

是标准正交基时, 矩阵

称为酉矩阵即(

), 此时过渡

为上三角矩阵，且其对角线上元素为正实数，

称为正交-三角 分解（Gram-Schmidt标准正交化，（将一般基转换成标准正交基的方法）。

1.3 标准线性空间

的标准基与一般基

1. 标准线性空间
   的标准基为：
   ， 标准基构成了单位矩阵
   .
2. 标准线性空间的一般基向量组
   拼成的（非抽象的矩阵）
   是非奇异矩阵.
3. 齐次线性方程组的解集称为矩阵
   的核（kernel）
   .

1.4 线性子空间：
定义： 设

是数域

上的线性空间

的子集合,

。如果空间

中的元素满足：

1. （加法封闭性）若
   , 有
2. (数乘封闭性)
   ， 有

则称

是线性空间

的线性子空间。

生成子空间：设

是线性空间

中的一组向量， 则集合

称为向量组

的生成子空间，可以证明

是

的子空间。（

可以理解为由向量组

线性组合生成的全体向量的集合，向量组

提供了空间

的一种表达方式，

• 给定矩阵
  , 则
  的子空间
  称为矩阵
  的像(Image)），写成
  . 齐次线性方程组的
  解空间称为矩阵
  的核（kernel）
  .

极大线性无关组与秩：线性子空间的维数与生成该空间的一个基向量组中向量的个数相等：

, 其中

是向量组

的秩（即

的极大线性无关组中向量的个数），向量组

的任一

极大线性无关组可以作为空间

的一个

基。

二、线性映射与线性变换

线性映射的定义： 设

和

是

上的两个线性空间，定义映射

, 若映射

满足二元加法运算与数乘运算：

1. 保加法性： 任取
   ,
   成立；
2. 保数乘法：

则称映射

为空间

到空间

的线性

映射。若

， 则称

为空间

中的线性

变换。

2.1 线性映射的矩阵表示

设向量组

是空间

的一组基，向量组

是空间

中的一组基，若

线性映射

可以写成

则称矩阵

为线性映射

在基

与基

下的矩阵表示。

设原像

且在基

下的线性表示为：

则其通过线性映射的像

可以表示为

于是像

在基

下的坐标为

式（5）表示空间

中的元素通过线性映射到空间

中，像与原像的坐标变换关系。

• 若
  此时线性映射称为空间
  中的
  线性变换：
  , 线性变换在基
  下的矩阵表示为
  ,
  . 给定线性空间中的一组基，则对于空间中元素的线性变换的矩阵表示也确定了。
• Remark: 对于几何空间来说，线性变换相当于对整个空间进行伸缩、旋转等几何操作。具体到作用于一个点相当于将这个点移动到另一个点，线性变换矩阵刻画了移动轨迹.
• 两个线性变换顺序不同，总的变换效果一般是不同 。即
  与
  通常不是对应同一线性变换。
• 表示线性变换的矩阵的行列式(determinant)相当于向量组
  所张成空间的体积，故对于同一线性变换的行列式相同。（若
  ）. 同理，同一线性变换对应的特征向量也是相同的。（即行列式、特征向量与坐标系无关）。
• 方程组
  有非零解的几何解释，线性变换能将空间中的向量
  压缩到原点，故线性变换有降维作用（高维空间变换到低维空间），故
  不再是最大线性无关组，从而
  , 或者矩阵
  不是列满秩的，不存在逆变换（即不存在线性变换把低维空间变成高维空间： 矩阵列向量组的线性组合的结果只能在其张成的空间或子空间中）。
• 两个向量进行点乘操作，相当于将其中一个向量的转置看出是投影变换（一个向量的dual是它所定义的线性变换）。
• 线性变换中包含对空间的旋转操作时，此时矩阵没有特征向量，没有实数特征值。

2.2 矩阵与标准线性空间中的线性映射是等同的

设

代表

标准线性空间

到

的线性映射：记为：

， 空间

的标准基为

，空间

的标准基为

, 则线性映射可以表示为：

可见矩阵

与

标准线性空间

到

的线性映射

是等同的。

2.3、矩阵等价（线性映射）与矩阵相似（线性变换）

• 矩阵等价的定义： 给定矩阵
  , 存在非奇异矩阵（可逆矩阵）
  ， 满足
  , 则称矩阵
  等价。若
  , 且
  ，则称矩阵
  相似；
• 矩阵等价本质上相当于对于同一线性映射在不同基底下的矩阵表示，其具体的几何理解为：将
  视为标准线性空间
  到
  的线性映射：
  . 将矩阵
  的列向量组视为
  的一个基（入口基），矩阵
  的列向量组视为
  的一个基（出口基）， 则线性映射
  可以表示为：
  , （
  ）, 其中
  是向量
  在基矩阵
  下的坐标
  。则线性映射
  在给定入口基
  与出口基
  下的矩阵表示为
  .
• 相互等价的矩阵
  代表同一个线性映射。相互相似的矩阵代表同一个线性变换。（等价比相似的要求低一些，因为等价
  不要求行变换与列变换一一对应，而相似
  左右线性变换是配套的）。
• 一般衍生的问题是：给定矩阵
  ， 寻找基矩阵
  ， 使得矩阵
  的形式最可能简化（一般为对角阵或者Jordan标准型）， 这样使得
  有
  个独立输入与输出。特别地，利用奇异值分解
  ，使得
  ,
  则
• 方阵的不变子空间： 设方阵
  , 子空间
  若满足
  , 则称
  为方阵
  的不变子空间。
• 方阵的不变子空间与特征向量： 设方阵
  , 若有 一
  基向量组
  满足
  , 使得
  为对角阵，即
  . 则称向量组
  为矩阵
  的特征向量组，也称方阵
  可以
  相似对角化。 向量
  称为矩阵
  的一维线性不变子空间，也称为特征向量。

remark: 方阵

可以

相似对角化的充要条件是有

个线性无关的特征向量。

• 对于任何一个方阵
  ，存在非奇异矩阵
  使得
  ，矩阵
  为Jordan标准型

, 其中

为矩阵

的

个

不同的特征值，

为

的几何重复度。

2.4 线性变换的特征值与特征向量

设线性空间上的一个线性变换的矩阵表示为

，若存在向量

使得

则称向量

为特征向量，

为对应的特征值。

remark 1: 线性变换对于特征向量只表现出伸缩变换，特征值表示伸缩变换的倍数。

remark 2: 同一线性变换在不同的基下的有不同的矩阵表示，这些矩阵互为相似矩阵，相似矩阵的(特征值eigenvalue、行列式determinant、秩rank、迹trace）是相同的（

）。

remark 3: 线性变换

的

以及特征子空间都是线性变换

的不变子空间。

remark 4: 若

, 则

的特征子空间都是

的不变子空间，也就是任何

的特征子空间包含

的特征向量(即必有公共的特征向量）.

remark: 对于线性映射

， 映射后向量

的长度最大为向量

的

倍（基于Rayleigh 商函数的极值可以得到）。

^[1]

参考

1. ^根据哈工大严质彬老师矩阵分析课程整理 https://www.bilibili.com/video/av11355346?p=27