线性代数及其应用：第三章 正交

前言：这篇blog是《 Linear Algebra and Its Applications》第三章的一些学习笔记

第三章 正交

  这一章引出新工具：内积，投影
  重点：施密特正交化法

1. 正交向量与子空间

1.1. 内积

  向量$\alpha ,\beta$的内积定义成$<\alpha ,\beta >={\alpha }^T\beta$，可以理解成$R^n\times R^n\to R$的映射，向量模的平方就是自己与自己的内积$||x|{|}^2=x^{T}x$。内积有如下性质：

1. $<\alpha ,\alpha >\ge 0$
2. $<\alpha ,\beta >=<\beta ,\alpha >$
3. $<\alpha +\gamma ,\beta >=<\alpha ,\beta >+<\gamma ,\beta >$
4. $<c\alpha ,\beta >=c<\alpha ,\beta >$

1.2. 矩阵四大子空间的正交关系

  在$R^n$空间，行空间与零空间正交互补，记为$C(A^T)=(N(A){)}^{\perp }$，即$dim(N(A))+dim(C(A^T))=n$，$dim()$表示向量空间的维度。
  在$R^m$空间，列空间与左零空间正交互补，记为$C(A)=(N(A^T){)}^{\perp }$，即$dim(N(A^T))+dim(C(A))=m$，$dim()$表示向量空间的维度。

列空间与左零空间正交互补，即两者列空间与左零空间的向量相加，可以构成$R^m$，正交互补并不是说$R^m$中只有列空间与左零空间，列空间和左零空间的向量也是有m个数组成的，在$r<m$时，$R^m$相对于$C(A)$与$N(A^T)$是更高维，一个高维空间，不能由两个低维空间构成，但可以说，$R^m$向量空间中的一个向量$x$，可以由$C(A)$的一个向量$x_1$与$N(A^T)$一个向量$x_2$相加构成，关于这一点可以类比三维直角坐标系，三维任一点可以由xy平面一点的坐标和z直线上一点的坐标相加得到，但并不能说三维平面只有xy平面和z直线；在$r=m$时，$R^m=C(A),N(A^T)=\varnothing$。

如何证明正交补？主要还是因为$dim(N(A^T))+dim(C(A))=m$，且$N(A^T)$中向量和$C(A)$中向量正交。

1.3. 矩阵的真正作用

  如上图所以，左边的两个矩形空间是行空间(row space，维度为r)与零空间(nullspace，维度为n-r)；右边的两个矩形空间是列空间(column space，维度为r)与左零空间(left nullspace，维度为m-r)。同时矩形空间之间的"$└$"符号表示了两个子空间之间是正交的。
  从$R^n$中找一点x，可表示为$x=x_r+x_n$，$x_r$表示行空间中的某一向量，$x_n$表示零空间中的某一向量，而矩阵$A_{m\times n}$作用于$x$，即$Ax=A(x_r+x_n)=A{x}_r+0=b$，$b$是列空间中的向量。所以矩阵$A_{m\times n}$的作用就是把$C(A^T)$空间中的向量映射到$C(A)$空间。第六章会定义伪逆$A^{+}$，$A^{+}Ax=x$。

---

2. 向量投影到向量

  向量$b$向向量$a$的投影，设$x=\frac{||p||}{||a||}$，即$x$为$b$在$a$上的投影向量$p$的模除以$a$的模，所以$p=xa$，不难看出，$$a^{T}e=a^T(b-p)=a^T(b-xa)=0$$所以$$x=\frac{a^{T}b}{a^{T}a}$$故$$p=xa=\frac{a^{T}b}{a^{T}a}a=a\frac{a^{T}b}{a^{T}a}=\frac{a{a}^T}{a^{T}a}b=Pb$$这里一定要意识到$a^{T}b$是一个数，所以向量$a$可以提到前面，再用结合律即可。
  这样我们就推出了向量$b$投影到向量$a$的投影矩阵$$P=\frac{a{a}^T}{a^{T}a}$$$P$矩阵对称且满足$P^2=P$，可见该投影矩阵和向量$b$没有任何关系，如果向量$a=(cos\theta ,sin\theta )$，则$P=\left[\begin{array}{cc}{c}^2& cs\\ cs& s^2\end{array}\right]$，和第二章的二维投影矩阵吻合。

---

3. 向量投影到列空间与最小二乘法

3.1. 向量投影到列空间

  向量$b$投影到矩阵$A$的列空间，设投影向量是$Ax$，其中$x$在$A$的行空间，则向量$e=(b-Ax)$垂直$A$的列空间，所以向量$e$在矩阵$A$的左零空间，所以$$A^{T}e=A^T(b-Ax)=0$$所以我们得到$$A^{T}b=A^{T}Ax$$

  如果向量$b$不在矩阵$A$的列空间，即$e̸=0$，此时$Ax=b$无解，那么向量$b$在矩阵$A$的列空间的投影向量$Ax$最接近$b$，所以$Ax=b$的近似方程是$Ax=Ax$，$Ax=b$近似解即为$x$，其依据就是最小二乘法(最小平方和)，此时$||e||$最小，所以我们有了求$x$的一般方程$$A^{T}b=A^{T}Ax$$如果$A^{T}A$可逆，那么$$x=(A^{T}A{)}^{-1}{A}^{T}b$$我们进一步知道了求向量$b$到$A$的列空间的投影向量$$p=Ax=A(A^{T}A{)}^{-1}{A}^{T}b=Pb$$其中$$P=A(A^{T}A{)}^{-1}{A}^T$$为投影矩阵，该投影矩阵是对称矩阵同时满足$P^2=P$。

  所以向量不论是向空间投影，还是向另一个向量投影，投影矩阵均满足对称矩阵且$P^2=P$。

3.2. 最小二乘法问题

  假设求解下面的方程组，
$$\{\begin{array}{l}2x=b_1\\ 3x=b_2\\ 4x=b_3\end{array}$$

  该方程无解，但是想求其近似解。

3.2.1. 代数法

  我们用代数法，利用最小平方和求解，其误差是$$E^2=(2x-b_1{)}^2+(3x-b_2{)}^2+(4x-b_3{)}^2$$对其求导取极值点$$x=\frac{2b_1+3b_2+4b_3}{2^2+3^2+4^2}$$

3.2.2. 矩阵法

  我们用代数法，利用最小平方和求解，$$ax=\left[\begin{array}{c}2\\ 3\\ 4\end{array}\right]x=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]=b$$

  其解就是向量$b$在$a$列空间上的投影，在映射回$a$的行空间，其一般方程为$$a^{T}b=a^{T}ax$$所以近似解为$x=\frac{a^{T}b}{a^{T}a}$，直接就可以求出来。

---

4. 正交基，Gram-Schmidt正交化法

4.1. 正交基

4.1.1. 正交矩阵

  正交矩阵是列向量相互正交且列向量模为1的矩阵；正交方阵是限定为方阵的正交矩阵，记为$Q$，一般提及正交矩阵默认就是正交方阵，这篇blog后面提及的正交矩阵也是正交方阵。
  正交矩阵有如下性质

1. $Q^{T}Q=1$
2. $Q^T=Q^{-1}$

4.1.2. 正交变换

  正交矩阵$Q$作为变换矩阵，乘以向量x，称为正交变换。正交变换不改变向量$x$的角度和长度。

4.1.3. 正交矩阵列空间的正交基

  考虑正交变换$$Qx=\left[\begin{array}{c}{q}_1,q_2\dots q_n\end{array}\right]x=b$$

其中$q_i$均是相互正交的单位列向量，则$$x=Q^{-1}b=Q^{T}b=\left[\begin{array}{c}{q}_1^T\\ q_2^T\\ \dot{\dot{\cdot }}\\ q_n^T\end{array}\right]b=\left[\begin{array}{c}{q}_1^{T}b\\ q_2^{T}b\\ \dot{\dot{\cdot }}\\ q_n^{T}b\end{array}\right]$$

所以$$b=Qx=\left[\begin{array}{c}{q}_1,q_2\dots q_n\end{array}\right]\left[\begin{array}{c}{q}_1^{T}b\\ q_2^{T}b\\ \dot{\dot{\cdot }}\\ q_n^{T}b\end{array}\right]=\left[\begin{array}{c}(q_1^{T}b)q_1\\ (q_2^{T}b)q_2\\ \dot{\dot{\cdot }}\\ (q_n^{T}b)q_n\end{array}\right]$$

  由于$q_i$是单位列向量，所以$(q_i^{T}b)q_i$是向量$b$在向量$q_i$上的投影向量($\frac{q_i^{T}b}{q_i^T{q}_i}{q}_i=q_i^{T}b{q}_i$)，所以向量$b$向$q_1,q_2\dots q_n$的各自的投影向量形成的向量 $((q_1^{T}b)q_1,(q_2^{T}b)q_2\dots (q_n^{T}b)q_n{)}^T$就是$b$自己，所以$q_1,q_2\dots q_n$就是$Q$的列空间的标准正交基。

4.2. Schmidt正交化法(施密特正交化法)

  由一组相互独立的向量产生标准正交向量的方法。具体来看，给定独立的一组向量$$a,b,c,d\dots$$标准正交的第一个向量就是单纯的标准化即可$$q_1=\frac{a}{||a||}$$第二个标准正交向量的产生是在$q_1$基础上的$$\begin{gathered} A_2=b-(q_1^{T}b)q_1 \\ {q}_2=\frac{A_2}{||A_2||} \end{gathered}$$第三个标准正交向量的产生是在$q_1$与$q_2$基础上的$$\begin{gathered} A_3=c-(q_1^{T}c)q_1-(q_2^{T}c)q_2 \\ {q}_3=\frac{A_3}{||A_3||} \end{gathered}$$

$$\dots$$

$$\begin{gathered} A_j=a_j-(q_1^T{a}_j)q_1-(q_2^T{a}_j)q_2-\cdots -(q_{j-1}^T{a}_j)q_{j-1} \\ {q}_j=\frac{A_j}{||A_j||} \end{gathered}$$

  后面产生的标准正交向量是踩在前面的已经产生的标准正交向量上面产生的。

4.3. 矩阵的正交分解

  对矩阵$A$，其列向量要求线性无关，有正交分解
$$A=QR$$

  其中$Q$是正交矩阵，$R$是上三角矩阵。其基本思路就是对A的列向量进行Schmidt正交化法，以三阶为例$$A=[a,b,c]=[q_1,q_2,q_3]\left[\begin{array}{ccc}{q}_1^{T}a& q_1^{T}b& q_1^{T}c\\ 0& q_2^{T}b& q_2^{T}c\\ 0& 0& q_3^{T}c\end{array}\right]=QR$$

  $R$的对角线元素的乘积是$A$的列向量构成的多面体的体积。我们可以通过推广平行四边形的面积求法来理解，平行四边形的面积是底乘以高，平行六面体的体积是底乘以高在乘以垂直这条底和高的第三条高，$\dots$，$q_1^{T}a$可以理解成底，$q_2^{T}b$是垂直于$q_1^{T}a$的高，$q_3^{T}c$是垂直于$q_1^{T}a$和$q_2^{T}b$的第三条高 $\dots$，相乘就是体积。

4.4. Hilbert空间

  把$R^n\to R^{\infty }$，即Hilbert空间中的向量是无穷维的，Hilbert空间包含所有的无穷维向量。

---

5. 应用：快速傅里叶变换(FFT)

  FFT可以说是20世纪发现的算法中，重要程度排名前三的算法。这里从傅里叶级数开始，引出FFT。

5.1. 傅里叶级数

  我们先看向量空间V，向量$b$在V中，V中有基$q_1,q_2\dots q_n$，则$b=x_1{q}_1+x_2{q}_2+\cdots +x_n{q}_n$。
  类比上面的向量空间，设函数空间F，函数$f$在函数空间F中，F中有基$1,cosx,sinx,cos2x,sin2x,cos3x\dots$，F的维度是$\infty$，则$f=a_0+a_{1}cosx+b_{1}sinx+a_{2}cos2x+b_{2}sin2x+\dots$，$f$用F中的基表示的等式的系数，就是傅里叶级数。
  同时，类比的还有向量内积$⟶$函数内积，向量正交$⟶$函数正交。$$向量内积：v^{T}w=v_1{w}_1+v_2{w}_2\dots v_n{w}_n$$$$\downarrow$$$$函数内积：{\int }_0^{2\pi }f(x)g(x)dx$$
$$向量正交：v^{T}w=0$$$$\downarrow$$$$函数正交：{\int }_0^{2\pi }f(x)g(x)dx=0$$

  傅里叶级数求解有对应的公式，这里不是重点就不列出，百度就行。

  傅里叶变换利用傅里叶级数，把信号进行傅里叶分解，就知道了信号在各个频率分量上的占比(傅里叶级数)。

5.2. 离散傅里叶变换

  利用傅里叶级数的的傅里叶变换维度是无限维的，这一点在工程应用中十分不便，因此提出了维度是有限长的快速傅里叶变换。
  输入：$Y=[y_0,y_1,y_2\dots y_{n-1}]$，$Y$是对原连续信号采样，采样越密，越能表示原信号。
  输出：$C=[c_0,c_1,c_2\dots c_{n-1}]$
  线性关系：$FC=Y$，$F$为傅里叶矩阵，是对称复矩阵，也是复矩阵最有名的应用。
  傅里叶矩阵$F_n$如下$$F_n=\left[\begin{array}{ccccc}1& 1& 1& \dots & 1\\ 1& w_n& w_n^2& \dots & w_n^{n-1}\\ \dot{\dot{\cdot }}& & & & \dot{\dot{\cdot }}\\ 1& w_n^{n-1}& w_n^{2(n-1)}& \dots & w_n^{(n-1)(n-1)}\end{array}\right]$$其中$(F_n{)}_{ij}=w^{ij}，i,j=0,1\dots n-1$，且$w_n^n=1$，即$w_n=e^{i\frac{2\pi }{n}}$。下面是n=4时的傅里叶矩阵$F_4$，$w_4=e^{i\frac{\pi }{2}}=i$，$$F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$$

  同时，傅里叶矩阵$F_n$的逆的求解也很方便：$$F_n^{-1}=\frac{1}{n}\overline{F_n}$$其中$\overline{F_n}$为$F_n$的共轭。

5.3. 快速傅里叶变换

  离散傅里叶变换需要$n^2$个乘法，下面给出一种利用矩阵分解化简乘法运算次数的方法。以n=64为例，且$w_{64}^2=w_{32}$，傅里叶矩阵$F_{64}$分解如下：

$$\begin{array}{rl}\left[\begin{array}{c}{F}_{64}\end{array}\right]& =\left[\begin{array}{cc}I& D_{32}\\ I& -D_{32}\end{array}\right]\left[\begin{array}{cc}{F}_{32}& 0\\ 0& F_{32}\end{array}\right]\left[\begin{array}{c}{P}_{64}\end{array}\right]\\ & =\left[\begin{array}{cc}I& D_{32}\\ I& -D_{32}\end{array}\right]\left[\begin{array}{cccc}I& D_{16}& 0& 0\\ I& -D_{16}& 0& 0\\ 0& 0& I& D_{16}\\ 0& 0& I& -D_{16}\end{array}\right]\left[\begin{array}{cccc}{F}_{16}& 0& 0& 0\\ 0& F_{16}& 0& 0\\ 0& 0& F_{16}& 0\\ 0& 0& 0& F_{16}\end{array}\right]\left[\begin{array}{cc}{P}_{32}& 0\\ 0& P_{32}\end{array}\right]\left[\begin{array}{c}{P}_{64}\end{array}\right]\\ & \dots \end{array}$$

其中$P$是置换矩阵，把偶数行提到奇数行前的置换矩阵，$D$是对角矩阵，$$D_n=\left[\begin{array}{ccccc}1& & & & \\ & w& & & \\ & & w^2& & \\ & & & \cdot & \\ & & & & w^{n-1}\end{array}\right]$$

考虑乘法运算，$$\begin{array}{rl}64^2次乘法& ⟶32+32^2+0\\ & ⟶32+(16+16^2\times 2)\times 2=32+32+16^2\times 4\\ & ⟶32+32+(8+8^2\times 2)\times 4=32+32+32+8^2\times 8\\ & \dots \\ & ⟶6\times 32+64\end{array}$$注意这里乘以$I$和$P$开销不大，因此在考虑乘法运算开销时没有考虑(乘法开销记为0)。故FFT使得乘法运算次数变为$$n^2⟶\frac{n}{2}lo{g}_2^n+n=O(nlogn)$$
以n=1024为例，这在计算机实际应用中根本不算大的数字，但FFT使得其乘法运算次数减少近200倍。

---

参考书籍
《Linear Algebra and Its Applications》