矩阵论-符号
(2021.01.17)
符号
对称半正定方阵
对称正定方阵
矩阵的广义逆
矩阵的Moore-Penrose广义逆
满足且具有最大秩的矩阵
矩阵的秩
矩阵的行列式
矩阵的范数
方阵的迹
的第个顺序特征根
矩阵的列向量张成的子空间
向的正交投影变换阵
分量皆为1的列向量
将的列向量依次排成的列向量
的上确界Supremum
的下确界Infimum
与的Kronecher乘积
随机变量或向量的的均值
随机变量的方差
随机变量或向量，的协方差
均值为，协方差阵为的随机变量
均值为，协方差阵为的维正态向量
LS估计
最小二乘估计
BLU估计
最佳线性无偏估计
MVU估计
最小方差无偏估计
MINQUE
最小范数二次无偏估计
RSS
回归平方和
SSe
残差平方和
MSE
均方误差
MSEM
均方误差矩阵
GMSE
广义均方误差
基本概念
矩阵的秩
一个矩阵的列秩是的线性独立的纵列的极大数，表示为。
方阵的列秩和行秩总是相等的，因此可以简单的称作矩阵的秩。矩阵的秩最大为和中的较小值，即。有尽可能大的秩的矩阵被称为有满秩。
设A是一组向量，定义A的极大无关组中向量的个数为A的秩。
矩阵的迹 trace
阶方阵的主对角线的和，称为矩阵的迹。矩阵中在行列的元素是，迹。
- 矩阵的迹等于该矩阵特征值之和，
线性独立 linearly independent
向量的线性独立，指一组向量中任意一个向量都不能由其他几个向量线性表示。或这些向量的线性组合等于0时，其系数只能是0.
一组向量，另有一组未知的系数。若中的没有非零解，则向量线性独立。
(2021.01.21 Thur)
对称矩阵symmetric matrices
以对角线为中心，对应位置相等的矩阵，就是对称矩阵。用表示一个矩阵的第行第列元素，则有
- 在矩阵论中，对称阵是方阵，#row = #column
- 一个对称阵的转置(transposition)等于这个矩阵本身，
- 对角矩阵都是对称阵
- 如果是对称阵，则对于任意矩阵，也是对称阵
- 定理：实对称阵可以正交对角化。(待证明)
- 实数对称阵的特征值都是实数
单位矩阵Identity Matrix
一个方阵的对角线都是1，其他元素是0，称为单位矩阵，用或表示。可记为
- 任一矩阵与单位阵相乘都是该矩阵本身或
- 单位矩阵的特征值为1，任何向量都是单位矩阵的特征向量。
逆矩阵
对于n阶矩阵存在n阶矩阵，使得，则称矩阵可逆，是的逆矩阵。记为。
- 一个矩阵和它的逆矩阵互为逆矩阵
- 一个单位阵的逆矩阵也是单位阵
- 如果矩阵可逆，则逆矩阵唯一。证明：设和是矩阵的逆矩阵，
- n阶方阵可逆，则是非奇异矩阵；是非奇异矩阵，则方阵可逆
- n阶方阵可逆的充分必要条件是为非奇异矩阵。？
转置transposition
一个矩阵的行与列调换，即。矩阵的转置表示为或。
- (2021.01.25 Mon)对于一个阶的矩阵，是对称阵。
证明1：设，是对称阵等价于。是个维的向量组成，即。可得，，于是有，即是对称阵。同样的方法也可证明也是对称阵。
证明2：设，根据转置的性质，有，也就是，所以是对称阵。
正交矩阵
一个矩阵与其转置的积是单位阵，则该矩阵是正交矩阵。或。
正定矩阵positive definite matrix
- 广义定义：是n阶方阵，对于任意非零向量，有，则称是正定矩阵
- 狭义定义：一个实对称阵是正定阵的充要条件 是当且仅当所有非零实向量系数，都有，则矩阵是正定矩阵
- 矩阵是正定阵，则其逆矩阵也是正定阵
- 正定阵的和也是正定阵
- 正定阵与常数相乘得到的也是正定阵
- 单位阵是正定阵
证明：对于，给定任意非零向量，有，因为非零，则有，得证单位阵是正定矩阵。 - 一个正定矩阵和非零向量，他们的乘积形成的与的夹角恒小于。等价于。
- 一个半正定矩阵和非零向量，他们的乘积形成的 与 的夹角恒小于或等于。等价于。
半正定矩阵positive semi-definite matrix
是n阶方阵，对于任意非零向量，有，则称是半正定矩阵。
- 协方差矩阵要是半正定矩阵的，证明略
(2021.01.23 Sat)
奇异矩阵singular matrix
奇异矩阵的条件：方阵、矩阵的行列式为0。非奇异矩阵和奇异矩阵都是方阵。
- 是奇异矩阵，则有无穷解，有无穷解或者无解。是非奇异矩阵，则有且只有唯一零解，有唯一解。
- 是奇异矩阵
- 是非奇异矩阵 ，满秩
- 非奇异矩阵可逆(可逆阵是非奇异矩阵)，可被表示成若干初等矩阵的乘积
- 在信号处理领域，信号协方差矩阵不是奇异矩阵，则信号不相关或部分相关
(2021.01.24 Sun)
特征值 characteristic value / eigenvalue
对一个阶方阵，有一个数和一个非零维列向量使关系式成立，这样的数称为方阵的特征值，向量称为方阵对应特征值的特征向量。表达式的另一种表达式是。这是一个个未知数个方程的齐次线性方程组，它有非零解的充要条件是行列式。该行列式称为矩阵的特征多项式。
特征方程
是一个次代数方程，称为的特征方程。特征方程的根称为矩阵的特征根。
- 一个矩阵的所有特征根之和等于该矩阵的迹，
- 一个矩阵的所有特征根之积等于其行列式的值，
- 若是一个可逆阵的特征根，是对应的特征向量，是的逆的一个特征根，对应的特征向量仍然是
- 若是一个方阵的特征根，是对应的特征向量，是矩阵的一个特征根，仍然是对应的特征向量
- 是方阵的互不相同的特征根，则对应的特征变量线性无关，即不相同的特征值的特征向量线性无关。
(2021.01.29 Fri)
矩阵分解
定理：实数构成的方阵可以对角化分解。
证明：一个阶的矩阵可以分解为其中的每一列都是特征向量，对角线上的元素是从大到小排列的特征值。将表示成。根据特征值特征向量的定义，有因此有，其中是的特征向量的集合，是对角阵，对角线的元素是特征值从大到小排列。
定理：实数对称方阵可正交对角化。
一个阶的实对称矩阵，存在一个对称对角化分解 其中的列是特征向量且标准正交，是对角阵，对角元素是的特征值由大到小排列。
设，矩阵可写成
根据一个矩阵求其正交对角阵分解的过程：
- 根据行列式求特征值
- 根据特征值求特征向量
- 特征向量的正交化：来自不同特征值的特征向量两两正交
- 特征向量的单位化
奇异值分解(这篇文章也有相同的内容)
(2021.01.27 Wed)
正交基和标准正交基
内积dot product/inner product：维向量和的内积表示为。
正交orthoganality：向量空间中的两个向量的内积为0，则这两个向量正交。
正交基：一个内积空间的正交基，是元素两两正交的基。
标准正交基：正交基的基向量的模长都是1，则该正交基是标准正交基。
比如，是的一组正交基。是的一组标准正交基。
(2021.02.21 Sun)
代数余子式algebraic cofactor
在阶行列式中，将元素所在的第行第列元素划去后，留下的阶行列式，称为的余子式。设，则称作元素的代数余子式。
代数余子式的大小只与元素的位置有关系。
阶行列式中任意选定行列划去，余下的元素按原来顺序组成的阶行列式，称为行列式的阶子式的余子式。
的行与列在中的标记分别为和，则行列式的阶子式的代数余子式是
幂等矩阵idempotent matrix
若方阵满足，则称是幂等矩阵。
投影矩阵
既是对称阵，有时幂等矩阵，即，则是投影矩阵。
幂等矩阵的性质
- 特征根只能是0或1
...
(2021.04.06 Tues)
相容方程consistent system
若线性方程组有解，则称为相容方程组，也可以成为线性方程组相容。若其无解则称为不相容。
Reference
- 王松桂等，线性模型引论，科学出版社