[北航矩阵理论A]课程笔记

[北航矩阵理论A]课程笔记

一、特征值

1. 特征根相关：
   设任一方阵 \(A = (a_{ij})_{n\times n} \in C^{n\times n}\)
   • 特征多项式 \(T(\lambda)=|\lambda I- A| = \Pi(\lambda-\lambda_i)\)
   • 全体特征根（含重复）：\(\lambda(A) = \{\lambda_1,\cdots,\lambda_n\}\)，叫做矩阵的 “谱”
   • 特征值两个性质：
     • \(\Sigma \lambda_i = tr(A)\) 特征根和等于矩阵迹和
     • \(\Pi \lambda_i = det(A)\) 特征根积等于行列式值
     • \(P可逆，P^{-1}AP = B\)，叫做A的一个相似变换，相似变换特征值不变
2. 分块求特征值：
   • 当矩阵可化为分块上（下）三角时，求主对角线上的矩阵块的特征值，并求并集，保留重复
     \[A = \bigg( \begin{matrix} B & O \\ C & D \end{matrix}\bigg)\]
     \[A = \bigg( \begin{matrix} B & C \\ O & D \end{matrix}\bigg)\]
3. 特征根观察法：\(A = (a_{ij})_{n\times n}\)
   • 若 \(A\) 中每行和恒为常数 \(a\)，则\(\lambda_1 = a \in \lambda(A)\)，且 \(X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)\)为对应的特征向量
   • 若 \(A\) 中每列和恒为常数 \(a\)，则...........,但\(X = \bigg(\begin{matrix} 1\\...\\1\end{matrix}\bigg)\)不一定为特征向量
4. 平移法则：特征向量不变
   • \(A \pm CI\)与 \(A\)有相同的特征向量，且\((A \pm CI)X_i = (\lambda_i \pm C)X_i\)
5. 多项式法则：
   • \(f(A)\)与\(A\)的特征向量相同，特征值分别为\(f(\lambda),\lambda\)

二、Jordan形

1. 三角阵定理：
   • 任一方阵 \(A\)，存在可逆阵 \(P\) 使A相似于 \(D\) （上三角）
2. 接三角阵定理：
   • 可选取P使三角形简化为双线上三角，此时\(D\)被称为\(A\)的\(Jordan\)形
     • 其中，重复根排在一起 ，\(* = 0/1\)；不同根之间 \(* = 0\)
       \[ \exists P,P^{-1}AP = D = \left( \begin{matrix} \lambda_1 & * & \cdots & 0\\ \vdots & \lambda_2 & * &\vdots\\ \vdots & \vdots & \ddots &*\\s 0 & 0 & 0 & \lambda_n \\ \end{matrix} \right)_{n\times n} \]
3. 若当块定义：
   • 一阶若当块是一个数 \((a)\)
   • k阶若当块(k重根\(\lambda\))形为：
     \[ J_k(a) = \left( \begin{matrix} a & 1 & \cdots&\cdots & 0\\ \vdots & a & 1 &\cdots &\vdots\\ \vdots & \vdots & \ddots &\ddots &1\\ 0 & 0 & 0 & 0 & a \end{matrix} \right)_{k\times k} \]
4. Jordan形定理：
   • 任一 ：\(A = (a_{ij})_{n\times n} \in C^{n\times n}，\exists P\)
     • \(A\)共有\(t\)个不同的特征根，每个特征根分别为\(k_i\)重特征根
     • 其中\(J_{k_i}^{(\lambda_i)}\)为若当块
       \[ p = \left( \begin{matrix} J_{k_1}^{(\lambda_1)} & 0 & \cdots&\cdots & 0\\ \vdots & J_{k_2}^{(\lambda_2)} & 0 &\cdots &\vdots\\ \vdots & \vdots & \ddots &\ddots & 0 \\ 0 & 0 & 0 & 0 & J_{k_t}^{(\lambda_t)} \end{matrix} \right)_{n\times n} \]

三、一些基础

1. 共轭转置：
   • \(A^H = \overline{A}^T\)
   • 一些性质：
     • \(\overline{AB} = \bar A \bar B\)
     • \((AB)^H = B^HA^H\)
     • \((ABC)^H = C^HB^HA^H\)
     • \((A+B)^H = A^H + B^H\)
     • \((kA)^H = \bar k A^H\)
   • 几个公式：
     • \(r(A^HA) = r(A) = r(AA^H)\)
     • \(AX = 0,A^HAX = 0\) 有相同解：\(X^H(A^HAX) = 0 \Rightarrow |AX|^2 = 0\)，所以这两个方程解空间维数相同，所以上一行三个矩阵的秩相同
2. 向量模长：
   • 模公式：\(|X|^2 = X^HX = \Sigma \bar x_i x_i = \Sigma |x_i|^2\)
   • 一些性质：
     • \(|kX| = |k||X|\)
   • 一些公式：
     • \(\frac{X}{|X|}\)为\(\vec X\)方向的单位向量
     • \(tr(X^HX) = tr(XX^H) = |X|^2\)
     • \(A = (a_{ij})_{n\times n} \in C^{n\times n},tr(A^HA) = tr(AA^H) = \sum \sum |a_{ij}|^2\)
       • 若 \(tr(AA^H) = 0或tr(A^HA) = 0,则A = 0\)
       • 若 \(AA^H = 0或A^HA = 0,则A = 0\)
3. \(C^{n\times n}\)内积：
   • 定义\((X|Y) = Y^HX\)，\(X\)，\(Y\)为列向量
   • 内积公理
     • \(X \neq 0,(X|X)>0\)
     • \(\overline{(Y|X)} = (X|Y)\)
     • \((kX|Y) = k(X|Y),(X|kY) = \bar k(X|Y)\)
     • \((X+Y|Z) = (X|Z) + (Y|Z),(X|Y+Z) = (X|Y) + (X|Z)\)
4. 正交：
   • 正交则内积为0
   • 正交组一定是线性无关组
   • 菱形对角线在实空间内正交
5. 酉阵
   • 定义：
     • \(A = A_{n\times p}\)中各列相互正交，称\(A\)为预备半酉阵
     • \(B = B_{n\times p}\)中各列相互正交且都为单位向量，即 \(B^HB = I_P\),称\(B\)为半酉阵
     • 方阵\(C\)中各列相互正交且都为单位向量，即 \(C^HC = I_P\),称\(C\)为半酉阵
   • 常用酉阵等价条件：
     • \(A^HA = I_n \Leftrightarrow A^{-1} = A^H\)
     • \(A^HA = AA^H = I\)
   • 性质：
     • 保内积：\((AX,AY) = (X,Y)\)
     • 保长：\(|AX|^2 = |X|^2\)
     • 保正交：\(X_1 \perp X_2 \perp\cdots\perp X_n \Rightarrow AX_1 \perp AX_2 \perp\cdots\perp AX_n\)
6. 镜面阵
   \[A = I - \frac{2XX^H}{|X|^2}\]
   • 性质：
     • \(A^H = A\)
     • \(A^2 = I\)
     • \(A\)为酉阵，\(A^{-1} = A^H\)
     • \(AX = -X\)
     • \(if X \perp Y,AY = Y\)
     • \(\lambda(A) = {-1,1,\cdots,1},det(A) = -1\)
   • 结论：
     • \((\alpha,\beta)\)为实数，两向量不相等，则存在镜面阵使得 \(A\alpha = \beta\)且
       \[A = I - \frac{2(\alpha-\beta)(\alpha-\beta)^H}{(\alpha-\beta)^2}\]
     • 证明：由镜面公式，取\(X = \alpha - \beta\)，使用性质4、5
   • 引理(构造镜面阵)
     • \(C^{n}\)中任一 \(\alpha = (\alpha_1,\cdots,\alpha_n)^T \neq \vec 0\)，令\(\beta = (\lambda|\alpha|,0,\cdots,0)^T\)
       \[\lambda = \begin{cases} \frac{\alpha_1}{|\alpha_1|}& \alpha_1 = 0\\ 1& \alpha_1 \neq 0 \end{cases}\]
       则存在镜面阵 \(A\) 使得 \(A\alpha = \beta\)
7. Hermite阵
   \[A^H = A,A\in C^{n\times n}\]
   斜Hermite：\(A^H = -A\)，则\(\frac{A}{i},Ai\)为Hermite
   • 一些性质：
     • 若A为Hermite，则存在酉阵Q使得\(Q^{-1}AQ = D\)为正线上三角，且主对角线元素均为实数
     • \(f(X) = X^HAX\)只取实数
     • \(\lambda_1 = \frac{X^HAX}{|X|^2}\)，其中X为非零特征向量
     • \(A = A^H,A \ge 0 \Leftrightarrow \lambda_i \ge 0\)
     • \(A = A^H,A > 0 \Leftrightarrow \lambda_i > 0\)
       • \(\Rightarrow : X^HAX > 0,\lambda_i = \frac{X^HAX}{|X|^2}>0\)
       • \(\Leftarrow : A = A^H \Rightarrow Q^HAQ = D\)，D的主对角线为特征值，\(Y^H(Q^HAQ)Y = Y^HDY = \sum\lambda_i|y_i|^2>0\)，记\((QY)^HA(QY)>0,X = QY\)
     • 若\(A\ge0 \Rightarrow \exists B B^2 =A,B \ge 0,\)
       • \(A = A^H \Rightarrow Q^HAQ = D,Q\)为酉阵，D的主对角线为特征值，且均大于等于0，令\(B = Q\sqrt{D}Q^H\)，易得B为Hermite，且B相似于\(\sqrt{D}\)，B为半正定
     • 任一\(A = A_{m\times n},A^HA,AA^H \ge 0\)，且都是Hermite
     • 任一方阵\(A = A_{n\times n},A + A^H\)是Hermite
   • 定理：
     • 若\(A = A^H \in C^{n\times n}\)，则A恰有n个正交的特征向量$
       • \(A = A^H \Rightarrow Q^HAQ = D,Q\)为酉阵，且Q每一列都是特征向量，且正交
8. 正定性：
   • 半正定：定义：\(A = A^H \in C^{n\times n},f(X) = X^HAX \ge 0\)，记为\(A\ge 0\)

四、QR分解

1. 求法：
   \(A = A_{n\times p}\)，且\(A\)列满秩，如何求 \(A = QR\):
   • 其中 \(Q = (\epsilon_1,...\epsilon_p)_{n\times p}\) 为半酉阵（或酉阵）
     • 对A使用施密特正交化方法：
       \[Y_1 = X_1\]
       \[Y_2 = X_2 - \frac{(X_2,Y_1)}{|Y_1|^2}Y_1\]
       \[Y_3 = X_3 - \frac{(X_3,Y_1)}{|Y_1|^2}Y_1 - \frac{(X_3,Y_2)}{|Y_2|^2}Y_2\]
       \[Y_p = X_p - \sum^{p-1}_{j = 0} \frac{(X_n,Y_i)}{|Y_i|^2}Y_i\]
     • 对 \(Y_i\) 进行单位化，得到 \(\epsilon_i\)
   • R为正线上三角，且主对角线上元素 \(b_i = |Y_i|\)
     • \(A = QR \Rightarrow Q^HA = R\)
2. 结论
   • 任一方阵\(A \in C^{n\times n}\)，存在酉阵\(Q\)与上三角阵\(R\)，使得\(A = QR\)
     • 取\(A\)第一列，利用镜面阵引理构造镜面阵\(P\)
     • \(PA = R,A = P^{-1}R\) 形如 \(A = QR\)

五、常见矩阵分解

1. 秩1分解：设 \(A = A_{m\times n},r(A) = rank(A) = 1\)，即\(A\)各列成比例，记 \(A = \alpha\beta,\alpha = (\alpha_1,\cdots,\alpha_m)^T,\beta = (\beta_1,\cdots,\beta_n)\)
   • 当A为方阵时，\(\lambda(A) = {tr(A),0,\cdots,0}\)，且\(A\alpha = tr(A)\alpha\)，解\(\Sigma b_ix_i = 0\)，得到另外的特征向量
2. 满秩分解（高低分解）：设 \(A = A_{m\times n},r(A) = rank(A) = P(P \ge 1)\Rightarrow A = BC\)，其中\(B = B_{m\times p}\)，为列满秩\(r(B) = P\) （B叫高阵）；\(C = C_{p\times n}\)，为行满纸\(r(C) = P\) （C叫低阵）
   • 解法：行变法，将A转化为形如D的矩阵，取\(\boldsymbol{D}\)的前\(P\)行为\(C\)，取\(\boldsymbol{A}\)中前\(P\)列为\(B\)：
     \[D = \left( \begin{matrix} 1 & \cdots & 0& * &\cdots & * \\ \vdots & \ddots & \vdots & * &\cdots & * \\ 0 & \cdots &1 & * &\cdots & * \\ 0 & \cdots & 0 & 0 &\cdots & 0 \\ \vdots &\vdots &\vdots &\vdots &\vdots &\vdots \\ 0 &0 &0 &0 &0 &0 & \\ \end{matrix} \right)_{m\times n}\\ \]
   • 几个性质：
     • 高阵\(B\)有左侧逆\(B_L\)：\(B_LB = I_P,B_L = (B^HB)^{-1}B^H\)
     • 低阵\(C\)有右侧逆\(C_R\)：\(CC_R = I_P,C_R = C^H(CC^H)^{-1}\)
   • 用法：
     • 若 \(BCX = 0\)，B为高阵，则 \(B_LBCX = 0 \Rightarrow CX = 0\)
     • 若 \(BX = BY\)，B为高阵，则 \(B_LBX = B_LBY\)

六、换位公式

\(A = A_{n\times p},B = B_{p\times n},AB \in C^{n\times n},BA \in C^{p\times p}\)

• 则 \(|\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|\)
  \[令 M = \left( \begin{matrix} AB& O\\ B&O_p\\ \end{matrix} \right)_{n+p},N = \left( \begin{matrix} O_n& O\\ B&BA\\ \end{matrix} \right)_{n+p},P = \left( \begin{matrix} I_n& A\\ O&I_p\\ \end{matrix} \right)\]
  \[MP = \left( \begin{matrix} AB& ABA\\ B&BA\\ \end{matrix} \right) = PN,且P^{-1} = \left( \begin{matrix} I_n& -A\\ O&I_p\\ \end{matrix} \right)\]
  \[MP = PN \Rightarrow P^{-1}MP = N \Rightarrow |\lambda I - M| = |\lambda I -N| \Rightarrow |\lambda I_n - AB| = \lambda^{n-p}|\lambda I_p - BA|\]
  
• \(AB\)与\(BA\) 只差 \(n-p\) 个 \(0\) 根
• \(tr(AB) = tr(BA) = \sum {\lambda_i}\)

七、奇异值分解

正奇值：设 \(A = A_{m\times n}, r(A) = P > 0\) ，则 \(A^HA\) 与 \(AA^H\) 恰有\(P\)个正特征根，称\(\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\)为\(A\)的正奇异值，记为\(S^+ (A) = \{\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\}\)

简奇异值分解：任意 \(A = A_{m \times n},r(A) = r >0\)，则有分解 \(A = P\Delta Q^H\)，其中 \(\Delta\) 为正线上三角，主对角线上依次为\(\sqrt{\lambda_1},\cdots,\sqrt{\lambda_p}\)，且\(P = P_{m\times r},Q = Q_{n\times r}\)都是半酉阵：\(P^HP = Q^HQ = I_r\)

• 已知简奇异值分解 \(A = P\Delta Q^H,则A^H = Q\Delta P^H为A^H\)的简化奇异值分解
• 令\(P = (Y_1,\cdots,Y_r),Q = (X_1,\cdots,X_r)\)，可写\(A = \sum \sqrt{\lambda_i}Y_iX_i^H\)

解法：求\(A^HA\)的正特征值，与对应的特征向量，令\(Q = (\frac{X_1}{|X_1|},\cdots,\frac{X_p}{|X_p|}),P = (\frac{AX_1}{|AX_1|},\cdots,\frac{AX_p}{|AX_p|})\)

奇异值分解：将简奇异值分解的\(P,Q\)扩充为酉阵，并将\(\Delta\)扩充为与A同型

八、单纯阵

\(A = A_{n\times n}\)为单阵\(\Leftrightarrow A \sim D,D\)为正线上三角，对角线上为特征值 \(\Leftrightarrow P^{-1}AP = D\)，也叫做可对角化

• \(A = A_{n\times n}\)为单阵\(\Leftrightarrow A\) 有 \(n\) 个线性无关的特征向量
• \(A = A_{n\times n}\)为单阵\(\Leftrightarrow\) 每个 \(k\) 重根，恰有\(k\)个线性无关的特征向量
• 若\(n\)阶方阵\(A\)有n个互异根，则\(A\)为单阵
• 若每个 \(k>1\) 重根，恰有 \(k\) 个特征向量，则 \(A\) 为单阵
• \(A = A_{n\times n}\)恰有\(k\)个互异根，且\(\Pi (A-\lambda_i) = 0\)，则\(A\)为单阵，反之亦然
• 任意一个\(k>1\)重根\(\lambda_i \in \lambda(A)\)
  • 若 \(r(A-\lambda_i I) = n-k\)，则\(A\)为单阵，反之亦然

补充定义：若方阵\(A\)与多项式\(f(x)\)，\(f(A) = 0\)，则称\(f(x)\)为\(A\)的一个0化式，\(A\)叫做\(f(x)\)的一个矩阵根

• 可求出矩阵\(A\)次数最低的0化式，叫做\(A\)的极小式\(m_A(x)\)

Cayley定理：方阵\(A\)的特征多项式\(T(x) = |xI-A|\)，使得\(T(A) = 0\)

• 若\(f(x)\)无重根且为\(A\)的0化式，则\(A\)为单阵

谱分解公式：

• 记\(P^{-1}AP = D,D\)为正线上三角，记\(D = \sum \lambda_iE_i\)，有：
  • \(\sum E_i = I_n\)
  • \(E_iE_j = 0, i \ne j\)
  • \(E^2_i = E_i\)
  • \(E^H_i = E_i\)
• 记\(P^{-1}AP = D \Rightarrow A = PDP^{-1} = \sum \lambda_i(PE_iP^{-1})\)
  • 记\(F_i = PE_iP^{-1}\)
  • 可写\(A =\sum \lambda_iF_i\)（即A的原谱分解），且：
    • \(\sum F_i = I_n\)
    • \(F_iF_j = 0, i \ne j\)
    • \(F^2_i = F_i\)
    • 但\(F^H_i \ne F_i\)，当且仅当P为酉阵时成立\(F^H_i = F_i\)
• 单阵谱分解公式：若A为单阵，全体不同根为\(t_1,\cdots,t_k,k \le n\)有：
  • \(A =\sum t_iG_i\)，这些G叫做谱阵
  • \(\sum G_i = I_n\)
  • \(G_iG_j = 0, i \ne j\)
  • \(G^2_i = G_i\)
  • \(A^p =\sum t^p_iG_i\)
  • 任意多项式\(f(x)\)，有\(f(A) = \sum f(t_i)G_i\)
  • 且\(G_i = \frac{(A-t_1)(A-t_2)\cdots(A-t_k)}{(t_i-t_1)(t_i-t_2)\cdots(t_i-t_k)}\)，其中分子中不含\((A-t_i)\)，分母中不含\((t_i-t_i)\)