【线性代数】详解正定矩阵、实对称矩阵、矩阵特征值分解、矩阵 SVD 分解

前言

本文主要针对线性代数中的正定矩阵、实对称矩阵、矩阵特征值分解以及矩阵 SVD 分解进行总结。

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

---

正定矩阵

概念

对于任意非零向量 $\text{x}$，若 ${\text{x}}^T\text{A}\text{x}>0$ 恒成立，则矩阵 $\text{A}$ 为正定矩阵；若${\text{x}}^T\text{A}\text{x}\ge 0$ 恒成立，则矩阵 $\text{A}$ 为半正定矩阵。

其他充要条件

• 充要条件1： 矩阵 $\text{A}$ 的全部特征值都是正数
  • 推论： 若 $\text{A}$ 正定，则 $|\text{A}|>0$，即 $\text{A}$ 可逆（有时会根据矩阵正定来判断是否可逆）
  • 推论： 若 $\text{A}$ 正定，则 $\text{A}$ 与单位阵合同，即存在可逆阵 $\text{C}$，使得 ${\text{C}}^T\text{A}\text{C}=\text{E}$ 成立
• 充要条件2： 矩阵 $\text{A}$ 的各阶顺序主子式都是正数，即 ${\Delta }_i>0$
  • 其中 ${\Delta }_i$ 表示矩阵 $\text{A}$ 前 $i$ 行与前 $i$ 列组成的子矩阵的行列式的值

---

实对称矩阵

概念

矩阵为方阵，其中元素均为实数，且 $\text{A}={\text{A}}^T$。

性质

• 性质1： 实对称矩阵的特征值都是实数。
  • 假设 $\lambda$、$\text{x}$ 分别为矩阵 $\text{A}$ 的特征值、特征向量，即 $\text{A}\text{x}=\lambda \text{x}$
  • 等式两边取共轭，即 $\overline{a+bi}=a-bi$，$\overline{\text{A}}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$，$\text{A}$ 是实对称矩阵，因此 $\text{A}={\text{A}}^T=\overline{\text{A}}$，即 $\text{A}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$
  • 等式两边取转置，则 ${\text{x}}^T\text{A}=\lambda {\text{x}}^T$
  • ${\text{x}}^T\text{A}\overline{x}=\overline{\lambda }{\text{x}}^T\overline{\text{x}}=\lambda {\text{x}}^T\overline{\text{x}}$
  • $(\lambda -\overline{\lambda }){\Vert \text{x}\Vert }_2^2=0$，由于 ${\Vert \text{x}\Vert }_2^2>0$，因此 $\lambda =\overline{\lambda }$，$\lambda$ 为实数
• 性质2： 实对称矩阵不同特征值所对应的特征向量必定正交。
  • 假设 $\text{A}{\text{x}}_1={\lambda }_1{\text{x}}_1$ 与 $\text{A}{\text{x}}_2={\lambda }_1{\text{x}}_2$ 成立
  • ${\text{x}}_1^T\text{A}={\lambda }_1{\text{x}}_1^T$
  • ${\text{x}}_1^T\text{A}{\text{x}}_2={\lambda }_1{\text{x}}_1^T{\text{x}}_2={\lambda }_2{\text{x}}_1^T{\text{x}}_2$
  • $({\lambda }_1-{\lambda }_2){\text{x}}_1^T{\text{x}}_2=0$，因此 ${\text{x}}_1$ 与 ${\text{x}}_2$ 正交
• 性质3： 实对称矩阵相同特征值所对应的特征向量必定线性无关。
  • 证明较繁琐，不详细展开
  • 线性无关的向量可以通过施密特正交化转为正交向量
    • 对于线性无关向量组 ${\text{x}}_1,{\text{x}}_2,...,{\text{x}}_n$，转为正交向量组 ${\text{y}}_1,{\text{y}}_2,...,{\text{y}}_n$
    • ${\text{y}}_1={\text{x}}_1$
    • ${\text{y}}_i={\text{x}}_i-\sum _{j=1}^{i-1}\frac{{\text{x}}_i^T{\text{y}}_j}{{\text{y}}_j^T{\text{y}}_j}{\text{y}}_j$
  • 由于新的正交向量都是原来线性无关向量的线性组合，而原先的线性无关向量对应的特征值均相同，因此新的正交向量也均为该相同特征值对应的特征向量
• 性质4： 任何一个实对称矩阵，都可以正交对角化。
  • 正交对角化，即存在一个正交矩阵 $\text{Q}({\text{Q}}^T={\text{Q}}^{-1})$ 使得 ${\text{Q}}^T\text{A}\text{Q}=\text{D}$，其中 $\text{D}$ 是一个对角矩阵
  • 实对称矩阵，一定有 $n$ 个解，因为实对称矩阵特征值都是实数，因此一共有 $n$ 个实特征值（包括重特征值）—— 性质 $1$
  • 不同特征值对应的特征向量正交，相同特征值也一定存在对应的正交向量 —— 性质 $2,3$
  • 实对称矩阵，一定有 $n$ 个正交特征向量，因此可以特征值分解，即该性质成立

---

矩阵特征值分解

概念

$n\ast n$ 的方阵 $\text{A}$，由 $\text{A}\text{x}=\lambda \text{x}$ 可以得到 $\text{A}\text{V}=\text{V}\Lambda$。

• 如果方阵 $\text{A}$ 有 $n$ 个线性无关的特征向量，则 $\text{V}$ 可逆
• $\text{A}=\text{V}\Lambda {\text{V}}^{-1}$
• 其中矩阵 $\text{V}$ 的列为方阵 $\text{A}$ 的特征向量，$\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n),{\lambda }_i\ge {\lambda }_{i+1}$

---

矩阵 SVD 分解

概念

任意一个矩阵 $\text{A}$ 都可以分解为 $\text{A}=\text{U}\Sigma {\text{V}}^T$，其中 $\text{U},\text{V}$ 均为正交单位矩阵，$\Sigma$ 为对角矩阵。

证明

• ${\text{A}}^T\text{A}=(\text{U}\Sigma {\text{V}}^T{)}^T\text{U}\Sigma {\text{V}}^T=\text{V}{\Sigma }^2{\text{V}}^T$，由于 ${\text{A}}^T\text{A}$ 为实对称矩阵，因此 $\text{V}$ 为矩阵 ${\text{A}}^T\text{A}$ 对应特征向量组成的正交单位阵。
• $\text{A}{\text{A}}^T=\text{U}\Sigma {\text{V}}^T(\text{U}\Sigma {\text{V}}^T{)}^T=\text{U}{\Sigma }^2{\text{U}}^T$，由于 $\text{A}{\text{A}}^T$ 为实对称矩阵，因此 $\text{U}$ 矩阵 $\text{A}{\text{A}}^T$ 对应特征向量组成的正交单位阵。
• $\text{A}\text{V}=\text{U}\Sigma$，其中 $\Sigma$ 为对角阵，因此 $\text{A}{\text{v}}_i={\sigma }_i{\text{u}}_i$，由此可以得到对角矩阵 $\Sigma$，其中 ${\sigma }_i$ 就是奇异值。
• ${\text{A}}_{m\ast n}={\text{U}}_{m\ast m}{\Sigma }_{m\ast n}{\text{V}}_{n\ast n}$