奇异矩阵能lu分解条件_矩阵分析-期末复习笔记（上）

（复习笔记，可能有点乱。夹杂着乱七八糟的英文，因为要用英文考试。）

（如果有误请一定要和我说！祝我final考个好成绩…）

目录：

1. 特征值，特征向量，相似 (Eigenvalues, eigenvectors, similarity)
2. 酉相似 & 酉等价 & 正规矩阵 (Unitary similarity & unitary equivalence & normal matrices)
3. Jordan标准型，LU分解 (Jordan canonical form, LU factorization)
4. Hermitian矩阵，相合 (Hermitian matrices, Congruences)
5. 向量范数 & 矩阵范数 (Vector norms, matrix norms)
6. Gersgorin圆盘 (Gersgorin discs)
7. 正定矩阵 & 半正定矩阵 & 极分解 & 奇异值分解 (Positive definite & semidefinite & polar decomposition & SVD)
8. 正矩阵 & 非负矩阵 (Positive / nonnegative matrices)

下篇在这里：

辰晞：矩阵分析-期末复习笔记（下）​zhuanlan.zhihu.com

---

1. 特征值，特征向量，相似 (Eigenvalues, eigenvectors, similarity)

• 特征值 Eigenvalue:
  • spectral radius: absolute value of the largest eigenvalue
  • 把A代进多项式
    ，新的矩阵的特征值是
    ，特征向量不变。
    • 注：这个命题necessary but not sufficient，不能用
      的特征值反推。
  • A和A转置有一样的特征值。
  • 如果
    则

• 相似 Similarity
  • 相似前后特征值不变
    • 证明：
  • 相似后的特征向量：
    所以B的特征向量是
    .
  • 两个矩阵相似 if & only if 它们的Jordan canonical forms相等。
  • Similarity is an equivalence relation

• 对角化：diagonalizable
  • A (nxn) must have n linearly independent eigenvectors. （i.e. 代数重数 = 几何重数）
  • 如果特征值都是不一样的，那么肯定可以对角化
    • 从不同的eigenspace中得到的eigenvector一定是linearly independent.
  • Block diagonalizable:
    :
    • C is diagonalizable if & only if A & B are diagonalizable.
• 同时对角化：Simultaneously diagonalizable
  • Two matrices commute (AB = BA) if & only if they are simultaneously diagonalizable.
    • 证明：
      (E, D are diagonal matrices, always commute)
    • Note: 对于任意A, B，不管commute与否，AB & BA 有同样的特征值（但特征向量不一样）。
      • 证明：
    • A commuting family shares one same eigenvector.

• 左/右特征向量 & Biorthogonality
  • 右特征向量：
    ; 左特征向量：
  • If
    , then
    • 证明：可假设x是一个单位向量，则有
  • 如果
    是A的一个特征值和它对应的左特征向量，
    是A的另一特征值和所对应的右特征向量，则
    .
  • 如果
    且
    几何重数=1，那么
    if & only if
    的代数重数也为1.

---

2. 酉相似 & 酉等价 & 正规矩阵 (Unitary similarity & unitary equivalence & normal matrices)

• 酉矩阵 Unitary matrices：
• 酉矩阵的几条等价命题：

1. U or U* is unitary
2. U has orthonormal columns (or rows)
3. U (as a linear transformation) preserves length. (i.e.
   )

• 酉矩阵的几条性质：

1. preserves length & orthogonality (only rotate the vector rigidly)
2. 多个酉矩阵相乘，依旧为酉矩阵

• QR分解：
  • A = QR (A: m*n)
  • 如果A has linearly independent columns：
    • Q: m-by-n with orthonormal columns; columns of Q: an orthonormal basis for Col(A)
    • R: square, upper-triangular, with positive entries on its diagonal.
    • Q & R are unique.
  • 如果
    :
    • R的对角元可以都是非负的。
  • 也可以让Q为酉矩阵，则R是m-by-n, upper-triangular, with nonnegative entries on its diagonal.
  • 如果A是实矩阵，则Q, R可以都为实矩阵。

• Unitary Similarity 酉相似
  • 如果A与B酉相似，则
    ("SSAVE": sums of the square of the absolute value of the entries are equal.)
• Schur三角化定理：
  • 所有矩阵都能酉相似于一个上三角形矩阵。
  • 证明：（太长了，贴图。证明的中心思想是使用orthonormal set, 把一个对角元以下的数字消去，再对更小的矩阵做酉相似，直到矩阵变成上三角形。）

• 同时酉三角化：Simultaneously unitary upper-triangularize
  • AB = BA （commute）

• Cayley-Hamilton定理
  • 如果A有特征方程：
    ，那么
    . (A matrix satisfies its own characteristic equation.)
  • 证明：让T为上三角矩阵，
    ，则：
    .
  • 一个由此而来的重要推论：
    • is a polynomial in A
      • rearrange:
        , so
        .
    • Any power series of A can be written as a polynomial in A.

• 正规矩阵 Normal matrices
  • 定义：A*A = AA* (commute with its star)
  • 举例：酉矩阵，Hermitian矩阵(A* = A)，skew Hermitian矩阵(A* = -A)，对角矩阵...
• 以下几个关于正规矩阵的命题等价：

1. A is normal
2. A is unitarily diagonalizable (triangularize: T*T = TT*, then T is diagonal)
4. A has n orthonormal eigenvectors.

• 如果A是正规矩阵，那么
  也是正规矩阵（
  , 是一个关于A的多项式）
• 注意：a complex normal matrix can be unitarily diagonalized, 但是一个实正规矩阵不一定可以被orthogonally diagonalized（因为实矩阵特征值可以有复数）

---

3. Jordan标准型, LU分解 (Jordan canonical form, LU factorization)

（缩写是JCF - 笔记里很多地方把写成了JDF，不要介意）

（以及，JCF在微分方程中似乎有重要应用，但是我们教授没讲。等我考完final会把这部分看一看然后补上。）

• 定义：

• 两个矩阵相似 if & only if 它们有一样的JCF。
  • 注：即使它们有一样的特征值，每个特征值的几何、代数重数都一样，也不一定相似。

• 经典题型：从计算
  得知矩阵的JCF
  • Jordan矩阵可以写成：J = D + N （D是对角矩阵，N是nilpotent 幂零矩阵）
  • 幂零矩阵有某个幂为0.

• 可以得到特征值信息：
  • 代数重数： 特征值在对角线上出现的次数
  • 几何重数：Jordan blocks的个数
  • 所以：几何重数
    代数重数

• 极小多项式Minimal polynomial:
  • a unique monic poly of min degree that A satisfies.
    • i.e.
    • divides
  • 相似矩阵有一样的极小多项式
• 以下几个关于极小多项式的命题等价（
  ）：
  • A可对角化
  • is a product of linear factors (i.e. every eigenvalue has multiplicity 1 as a root of
    )
  • 如果对极小多项式求导，

• Non-derogatory matrices
  • A matrix is non-derogatory if every eigenvalue only have one block in JCF.
  • i.e. 特征值几何重数都为1.
  • 如果AB = BA, 且A is non-derogatory, then B is a polynomial in A of at most n-1 degree.
• Companion matrix
• 定义：

• 以下命题等价：
  • A相似于companion matrix of
  • has degree n.

• 矩阵收敛：
  • 定义：
  • this happens when spectral radius

• LU factorization
  • 如果A可逆，则A = LU if & only if A所有的主子式(leading principal minors)非0.
    • L, U 都为可逆矩阵.
    • L的对角元可以为1.
  • 如果某个主子式=0: 可以通过permuration来分解：
    • 我们可以permute A： PA 使得主子式都不为0，再对PA做LU分解
      • 这样得到的分解：
      • 同理，可以有
        .

---

4. Hermitian矩阵，相合 (Hermitian matrices, congruence)

• Hermitian矩阵：
  • 定义：A* = A
  • skew-Hermitian: A* = -A
• Hermitian矩阵的几个特点（A is Hermitian）：
  • A的各种幂都是Hermitian的。
  • A的特征值都为实数
  • A可以被对角化
  • A的对角元都为实数（如果B是skew-Hermitian, 则B的对角元都为复数）
  • 是skew-Hermitian
• Toeplitz分解：
  • 任意矩阵A都可以分解成：Hermitian + skew-Hermitian:
    • , with H & K both Hermitian.

• 几个重要性质：
• A is Hermitian if & only if one of the followings is satisfied:
  • <1>
    是实数
  • <2> A是正规矩阵且特征值都为实数
  • <3>
    也为Hermitian（for all
    )
• A is Hermitian if & only if it is unitarily diagonalize to a real diagonal matrix.

• Quadratic form:
• arrange eigenvalues as:
• （证明蛮简单的，就略过吧？）

• 关于Hermitian matrices的几个重要不等式：
  • 以下结论均arrange eigenvalues as:
• Weyl不等式：
  • Let
    be Hermitian.
  • 记上面这两个貌似不靠谱（太复杂了记不住），所以我选择记这个推论：
• Interlacing不等式（by柯西）：
  • 设
    的特征值为
    , 设从A去掉第
    行、列后的
    特征值为
    , 则有：
• Majorization不等式（by Schur）：
  • 我们可以用相同的方式对Hermitian矩阵
    的对角元排序：
  • 那么，则有以下几条不等式：
    • 以此列推，
    • 最后一项是等式：
      ，因为迹(trace)和特征值之和相等。
• 以上三个不等式，Weyl的是necessary but not sufficient, 其他两个都是necessary & sufficient.
• Congruence 相合:
  • , C is nonsingular.
  • Congruence preserves "Hermisity"
  • 相合同时对角化(Simultaneously diagonalized by congruence):
    • 前提：
      可被对角化成一个实对角矩阵。
      • 如果A, B都不是可逆矩阵，可以找到一个可逆的A和B的线性组合
        ，然后考虑
        是否可被对角化成一个实对角矩阵。

---

（完）