MIT线性代数笔记-第17讲-正交矩阵,Schmidt正交化

目录

  • 17.正交矩阵, S c h m i d t Schmidt Schmidt正交化
    • 打赏

17.正交矩阵, S c h m i d t Schmidt Schmidt正交化

  1. “标准”经常表示单位长度

  2. 标准正交基:由两两正交的单位向量组成的基

    将标准正交基中的元素记作 q ⃗ 1 , q ⃗ 2 , ⋯   , q ⃗ n \vec{q}_1 , \vec{q}_2 , \cdots , \vec{q}_n q 1,q 2,,q n

    q ⃗ i T q ⃗ j = { 0 , i ≠ j 1 , i = j \vec{q}_i^T \vec{q}_j = \left\{\begin{matrix} 0 , i \ne j \\ 1,i = j \end{matrix}\right. q iTq j={0,i=j1,i=j

    Q = [ ∣ ⋯ ∣ q ⃗ 1 ⋯ q ⃗ n ∣ ⋯ ∣ ] Q = \begin{bmatrix} | & \cdots & | \\ \vec{q}_1 & \cdots & \vec{q}_n \\ | & \cdots & | \end{bmatrix} Q= q 1q n (此时 Q Q Q不一定要是方阵),则 Q T Q = [ − q ⃗ 1 T − ⋯ ⋯ ⋯ − q ⃗ n T − ] [ ∣ ⋯ ∣ q ⃗ 1 ⋯ q ⃗ n ∣ ⋯ ∣ ] = I Q^T Q = \begin{bmatrix} - & \vec{q}_1^T & - \\ \cdots & \cdots & \cdots \\ - & \vec{q}_n^T & - \end{bmatrix} \begin{bmatrix} | & \cdots & | \\ \vec{q}_1 & \cdots & \vec{q}_n \\ | & \cdots & | \end{bmatrix} = I QTQ= q 1Tq nT q 1q n =I

  3. 正交矩阵:乘上转置得到 I I I的方阵,记作 Q Q Q

    证明正交矩阵各列构成一个标准正交基:

    ​    当 i ≠ j i \ne j i=j时, Q T Q Q^T Q QTQ的第 i i i行第 j j j列等于 0 0 0,即 q ⃗ i T q ⃗ j = 0 \vec{q}_i^T \vec{q}_j = 0 q iTq j=0,说明 Q Q Q各列两两正交,又 Q T Q Q^T Q QTQ的第 i i i行第 i i i列为 1 1 1,即 q ⃗ i T q ⃗ i = q ⃗ i 2 = 1 \vec{q}_i^T \vec{q}_i = \vec{q}_i^2 = 1 q iTq i=q i2=1,可得 ∣ q ⃗ i ∣ = 1 |\vec{q}_i| = 1 q i=1,说明 Q Q Q各列均为单位向量,因而 Q Q Q各列为两两正交的单位向量

    由定义可知 Q T = Q − 1 Q^T = Q^{-1} QT=Q1,所以 Q Q T = Q Q − 1 = I Q Q^T = Q Q^{-1} = I QQT=QQ1=I,因而 Q T , Q − 1 Q^T , Q^{-1} QT,Q1也为正交矩阵

    Q Q Q的列空间的投影矩阵 P = Q ( Q T Q ) − 1 Q T = Q Q T = I P = Q (Q^T Q)^{-1} Q^T = Q Q^T = I P=Q(QTQ)1QT=QQT=I

    因而求解 Q x ⃗ = b ⃗ Q \vec{x} = \vec{b} Qx =b 时,由 Q T b ⃗ = Q T Q x ⃗ Q^T \vec{b} = Q^T Q \vec{x} QTb =QTQx 可得 x ⃗ = Q T b ⃗ \vec{x} = Q^T \vec{b} x =QTb

    所以 b ⃗ \vec{b} b 在第 i i i个基方向上的投影 x i = r o w   i   o f   Q ⋅ b ⃗ = q ⃗ i T b ⃗ x_i = row\ i\ of\ Q \cdot \vec{b} = \vec{q}_i^T \vec{b} xi=row i of Qb =q iTb

    • 哈达玛矩阵:由 1 , − 1 1 , -1 1,1构成的满足右乘其转置得到 n I nI nI的方阵,记作 H H H

      易证 n I nI nI中的 n n n H H H的阶数

      与正交矩阵同理可知 H H H各列两两正交,进而由定义可知 1 n H \dfrac{1}{\sqrt{n}} H n 1H为正交矩阵

      哈达玛矩阵的阶数只能为 1 , 2 1 , 2 1,2 4 4 4的倍数(但并不是所有 4 4 4的倍数都可以) (暂时不会证明) \color{OrangeRed}(暂时不会证明) (暂时不会证明)

  4. 格拉姆-施密特正交化

    • 考虑两个线性无关向量 a ⃗ , b ⃗ \vec{a} , \vec{b} a ,b ,先将二者正交化得到两个新向量 A ⃗ , B ⃗ \vec{A} , \vec{B} A ,B

      正交化具体方法为:令其中一个保持不变,如 A ⃗ = a ⃗ \vec{A} = \vec{a} A =a ,将另一个向量投影到前者后用后者减去投影,得到的就是后者的正交化,如 B ⃗ = b ⃗ − A ⃗ A ⃗ T b ⃗ A ⃗ T A ⃗ \vec{B} = \vec{b} - \vec{A} \dfrac{\vec{A}^T \vec{b}}{\vec{A}^T \vec{A}} B =b A A TA A Tb

      再将正交化得到的向量标准化,即每个向量除以自己的模,得到一个标准正交基 { q ⃗ 1 , q ⃗ 2 } \{ \vec{q}_1 , \vec{q}_2 \} {q 1,q 2},如 q ⃗ 1 = A ⃗ ∣ A ⃗ ∣ , q ⃗ 2 = B ⃗ ∣ B ⃗ ∣ \vec{q}_1 = \dfrac{\vec{A}}{|\vec{A}|} , \vec{q}_2 = \dfrac{\vec{B}}{|\vec{B}|} q 1=A A ,q 2=B B

    • 考虑将线性无关向量拓展至三个—— a ⃗ , b ⃗ , c ⃗ \vec{a} , \vec{b} , \vec{c} a ,b ,c

      正交化得到的向量增加一个 C ⃗ \vec{C} C

      C ⃗ ′ = c ⃗ − A ⃗ A ⃗ T c ⃗ A ⃗ T A ⃗ \vec{C}^{'} = \vec{c} - \vec{A} \dfrac{\vec{A}^T \vec{c}}{\vec{A}^T \vec{A}} C =c A A TA A Tc ,有 ( C ⃗ ′ ) T A ⃗ = 0 (\vec{C}^{'})^T \vec{A} = 0 (C )TA =0

      C ⃗ ′ ′ = C ⃗ ′ − B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ \vec{C}^{''} = \vec{C}^{'} - \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}} C ′′=C B B TB B TC ,有 C ′ ′ ⃗ T B ⃗ = 0 \vec{C^{''}}^T \vec{B} = 0 C′′ TB =0

      其中 B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}} B B TB B TC B ⃗ \vec{B} B 共线,而 B ⃗ \vec{B} B A ⃗ \vec{A} A 正交,因而 B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}} B B TB B TC A ⃗ \vec{A} A 正交,又 ( C ⃗ ′ ) T A ⃗ = 0 (\vec{C}^{'})^T \vec{A} = 0 (C )TA =0,所以 ( C ⃗ ′ ′ ) T A ⃗ = ( C ⃗ ′ − B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ ) A ⃗ = 0 (\vec{C}^{''})^T \vec{A} = (\vec{C}^{'} - \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}}) \vec{A} = 0 (C ′′)TA =(C B B TB B TC )A =0,即 C ⃗ ′ ′ \vec{C}^{''} C ′′ A ⃗ \vec{A} A 正交,所以 C ⃗ ′ ′ \vec{C}^{''} C ′′ B ⃗ , A ⃗ \vec{B} , \vec{A} B ,A 均正交, C ⃗ = C ⃗ ′ ′ \vec{C} = \vec{C}^{''} C =C ′′

      下证 B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ = B ⃗ B ⃗ T c ⃗ B ⃗ T B ⃗ \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}} = \vec{B} \dfrac{\vec{B}^T \vec{c}}{\vec{B}^T \vec{B}} B B TB B TC =B B TB B Tc

      等式左右分别表示 C ⃗ ′ , c ⃗ \vec{C}^{'} , \vec{c} C ,c B ⃗ \vec{B} B 的投影, c ⃗ \vec{c} c 的投影由 C ⃗ ′ , A ⃗ A ⃗ T c ⃗ A ⃗ T A ⃗ \vec{C}^{'} , \vec{A} \dfrac{\vec{A}^T \vec{c}}{\vec{A}^T \vec{A}} C ,A A TA A Tc 的投影两部分组成,而后者与 A ⃗ \vec{A} A 共线,即与 B ⃗ \vec{B} B 正交,投影为 0 ⃗ \vec{0} 0 ,所以 c ⃗ \vec{c} c 的投影与 C ⃗ ′ \vec{C}^{'} C 的投影一致,即 B ⃗ B ⃗ T C ⃗ ′ B ⃗ T B ⃗ = B ⃗ B ⃗ T c ⃗ B ⃗ T B ⃗ \vec{B} \dfrac{\vec{B}^T \vec{C}^{'}}{\vec{B}^T \vec{B}} = \vec{B} \dfrac{\vec{B}^T \vec{c}}{\vec{B}^T \vec{B}} B B TB B TC =B B TB B Tc

      ∴ C ⃗ = c ⃗ − A ⃗ A ⃗ T c ⃗ A ⃗ T A ⃗ − B ⃗ B ⃗ T c ⃗ B ⃗ T B ⃗ \therefore \vec{C} = \vec{c} - \vec{A} \dfrac{\vec{A}^T \vec{c}}{\vec{A}^T \vec{A}} - \vec{B} \dfrac{\vec{B}^T \vec{c}}{\vec{B}^T \vec{B}} C =c A A TA A Tc B B TB B Tc (如果 A ⃗ , B ⃗ \vec{A} , \vec{B} A ,B 不正交,是无法这样得到与两者都正交的分向量的)

      当然最后还是要除以模

    • 将最初和最终的向量分别按列摆放组合为两个矩阵 A = [ ∣ ∣ ⋯ a ⃗ 1 a ⃗ 2 ⋯ ∣ ∣ ⋯ ] , Q = [ ∣ ∣ ⋯ q ⃗ 1 q ⃗ 2 ⋯ ∣ ∣ ⋯ ] A = \begin{bmatrix} | & | & \cdots \\ \vec{a}_1 & \vec{a}_2 & \cdots \\ | & | & \cdots \end{bmatrix} , Q = \begin{bmatrix} | & | & \cdots \\ \vec{q}_1 & \vec{q}_2 & \cdots \\ | & | & \cdots \end{bmatrix} A= a 1a 2 ,Q= q 1q 2

      A = Q R A = QR A=QR,有 Q T A = Q T Q R Q^T A = Q^T QR QTA=QTQR,可得 R = Q T A R = Q^T A R=QTA

      思考得到每个 q ⃗ \vec{q} q 的过程不难发现 a ⃗ 1 , a ⃗ 2 , ⋯   , a ⃗ i \vec{a}_1 , \vec{a}_2 , \cdots , \vec{a}_i a 1,a 2,,a i q ⃗ 1 , q ⃗ 2 , ⋯   , q ⃗ i \vec{q}_1 , \vec{q}_2 , \cdots , \vec{q}_i q 1,q 2,,q i线性组合所能得到的空间是一致的,而 q i q_{i} qi之后的向量会正交于 q ⃗ 1 , q ⃗ 2 , ⋯   , q ⃗ i \vec{q}_1 , \vec{q}_2 , \cdots , \vec{q}_i q 1,q 2,,q i中的每一个,即正交于这个空间中的每一个向量,因此想要对 q ⃗ \vec{q} q 线性组合得到 a ⃗ i \vec{a}_i a i,无法使用到 q ⃗ i \vec{q}_i q i之后的 q ⃗ \vec{q} q ,即它们在 R R R中的对应参数为 0 0 0,所以 R R R为一个上三角阵,且其对角线上的元素为对应的未标准化的新向量的模


打赏

制作不易,若有帮助,欢迎打赏!
赞赏码

支付宝付款码

你可能感兴趣的:(MIT-线性代数,线性代数)