线性代数-MIT 18.06-6(a)

本文在学习《麻省理工公开课 线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MITB站视频

笔记部分：总结参考子实

26.对称矩阵及正定性

对称矩阵

对称矩阵的特性：

1. 特征值为实数；（对比第二十一讲介绍的旋转矩阵，其特征值为纯虚数。）
2. 特征向量相互正交。（当特征值重复时，特征向量也可以从子空间中选出相互正交正交的向量。）

典型的状况是，特征值不重复，特征向量相互正交。

• 那么在通常（可对角化）情况下，一个矩阵可以化为：$A=S\Lambda S^{-1}$；
• 在矩阵对称的情况下，通过性质2可知，由特征向量组成的矩阵$S$中的列向量是相互正交的，此时如果我们把特征向量的长度统一化为$1$，就可以得到一组标准正交的特征向量。则对于对称矩阵有

$$A=Q\Lambda Q^{-1}$$

而对于标准正交矩阵，有$Q=Q^T$，所以对称矩阵可以写为
$$A=Q\Lambda Q^T$$

矩阵分解（谱定理）

这个分解本身就代表着对称，${\left(Q\Lambda Q^T\right)}^T={\left(Q^T\right)}^T{\Lambda }^T{Q}^T=Q\Lambda Q^T$。

在数学上叫做谱定理（spectral theorem），谱就是指矩阵特征值的集合。

该名称来自光谱，指一些纯事物的集合，就像将特征值分解成为特征值与特征向量。

在力学上称之为主轴定理（principle axis theorem）

从几何上看，它意味着如果给定某种材料，在合适的轴上来看，它就变成对角化的，方向就不会重复。

定理证明和复数推广

• 现在我们来证明性质1。对于矩阵$\underline{Ax=\lambda x}$，对于其共轭部分总有$\bar{A}\bar{x}=\bar{\lambda }\bar{x}$，根据前提条件我们只讨论实矩阵，则有$A\bar{x}=\bar{\lambda }\bar{x}$，将等式两边取转置有$\overline{{\bar{x}}^{T}A={\bar{x}}^T\bar{\lambda }}$。将“下划线”式两边左乘${\bar{x}}^T$有${\bar{x}}^{T}Ax={\bar{x}}^T\lambda x$，“上划线”式两边右乘$x$有${\bar{x}}^{T}Ax={\bar{x}}^T\bar{\lambda }x$，观察发现这两个式子左边是一样的，所以${\bar{x}}^T\lambda x={\bar{x}}^T\bar{\lambda }x$，则有$\lambda =\bar{\lambda }$（这里有个条件，${\bar{x}}^{T}x\ne 0$），证毕。

观察这个前提条件，${\bar{x}}^{T}x=\left[\begin{array}{cccc}{\bar{x}}_1& {\bar{x}}_2& \cdots & {\bar{x}}_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]={\bar{x}}_1{x}_1+{\bar{x}}_2{x}_2+\cdots +{\bar{x}}_n{x}_n$，设$x_1=a+ib,{\bar{x}}_1=a-ib$则${\bar{x}}_1{x}_1=a^2+b^2$，所以有${\bar{x}}^{T}x>0$。而${\bar{x}}^{T}x$就是$x$长度的平方。

拓展这个性质，当$A$为复矩阵，根据上面的推导，则矩阵必须满足$A={\bar{A}}^T$时，才有性质1、性质2成立

（教授称具有这种特征值为实数、特征向量相互正交的矩阵为“好矩阵”）。

对称矩阵和投影矩阵

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵。
$$A=Q\Lambda Q^T=[q_1{q}_2\cdots q_n]\left[\begin{array}{cccc}{\lambda }_1& & \cdots & \\ & {\lambda }_2& \cdots & \\ ⋮& ⋮& \ddots & ⋮\\ & & \cdots & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{q}_1^T\\ q_1^T\\ ⋮\\ q_1^T\end{array}\right]={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+\cdots +{\lambda }_n{q}_n{q}_n^T$$

注意这个展开式中的$q{q}^T$，$q$是单位列向量所以$q^{T}q=1$，结合我们在第十五讲所学的投影矩阵的知识有$\frac{q{q}^T}{q^{T}q}=q{q}^T$是一个投影矩阵，很容易验证其性质，比如平方它会得到$q{q}^{T}q{q}^T=q{q}^T$于是多次投影不变等。

• 在知道对称矩阵的特征值皆为实数后，我们再来讨论这些实数的符号，因为特征值的正负号会影响微分方程的收敛情况（需要实部为负的特征值保证收敛）。

• 用消元法取得矩阵的主元，观察主元的符号，主元符号的正负数量与特征向量的正负数量相同（有用性质！）。

正定性

如果对称矩阵是“好矩阵”，则正定矩阵（positive definite）是其一个更好的子类。

性质1

正定矩阵指特征值均为正数的矩阵（根据上面的性质有矩阵的主元均为正）。

举例，$\left[\begin{array}{cc}5& 2\\ 2& 3\end{array}\right]$，由行列式消元知其主元为$5,\frac{11}{5}$，按一般的方法求特征值有$\left|\begin{array}{cc}5-\lambda & 2\\ 2& 3-lambda\end{array}\right|={\lambda }^2-8\lambda +11=0,\lambda =4\pm \sqrt{5}$。

性质2

所有子行列式为正。对上面的例子有$\left|\begin{array}{c}5\end{array}\right|=5,\left|\begin{array}{cc}5& 2\\ 2& 3\end{array}\right|=11$。

正定矩阵将早期学习的的消元主元、中期学习的的行列式、后期学习的特征值结合在了一起。

27.复数矩阵和快速傅里叶变换

复数向量

1. 先介绍复数向量，我们不妨换一个字母符号来表示：$z=\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，向量的每一个分量都是复数。此时$z$不再属于${\mathbb{R}}^n$实向量空间，它现在处于${\mathbb{C}}^n$复向量空间。

2. 对比模的计算

• 实向量，我们计算模只需要计算$\left|v\right|=\sqrt{v^{T}v}$即可，而如果对复向量使用$z^{T}z$则有$z^{T}z=\left[\begin{array}{cccc}{z}_1& z_2& \cdots & z_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]=z_1^2+z_2^2+\cdots +z_n^2$，这里$z_i$是复数，平方后虚部为负，求模时本应相加的运算变成了减法。（如向量$\left[\begin{array}{cc}1& i\end{array}\right]$，右乘其转置后结果为$0$，但此向量的长度显然不是零。）

• 复向量，使用$\left|z\right|=\sqrt{{\bar{z}}^{T}z}$，即$\left[\begin{array}{cccc}{\bar{z}}_1& {\bar{z}}_2& \cdots & {\bar{z}}_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，即使用向量共轭的转置乘以原向量即可。（如向量$\left[\begin{array}{cc}1& i\end{array}\right]$，右乘其共轭转置后结果为$\left[\begin{array}{cc}1& -i\end{array}\right]\left[\begin{array}{c}1\\ i\end{array}\right]=2$。）

• 我们把共轭转置乘以原向量记为$z^{H}z$，$H$读作埃尔米特（人名为Hermite，形容词为Hermitian）

3. 计算向量的内积

• 有了复向量模的计算公式，同理可得，对于复向量，内积不再是实向量的$y^{T}x$形式，复向量内积应为$y^{H}x$。

复数矩阵

对称性

对于实矩阵，$A^T=A$即可表达矩阵的对称性。而对于复矩阵，我们同样需要求一次共轭${\bar{A}}^T=A$。

举个例子$\left[\begin{array}{cc}2& 3+i\\ 3-i& 5\end{array}\right]$是一个复数情况下的对称矩阵。这叫做埃尔米特矩阵，有性质$A^H=A$。

正交性

在第十七讲中，我们这样定义标准正交向量：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$。

• 现在，对于复向量我们需要求共轭：${\bar{q}}_i^T{q}_j=q_i^H{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$。

第十七讲中的标准正交矩阵：$Q=[q_1{q}_2\cdots q_n]$有$Q^{T}Q=I$。

• 现在对于复矩阵则有$Q^{H}Q=I$。

就像人们给共轭转置起了个“埃尔米特”这个名字一样，正交性（orthogonal）在复数情况下也有了新名字，酉（unitary）；

酉矩阵（unitary matrix）与正交矩阵类似，满足$Q^{H}Q=I$的性质。而前面提到的傅里叶矩阵就是一个酉矩阵。

傅里叶矩阵

• $n$阶傅里叶矩阵

$$F_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right]$$

对于每一个元素有$(F_n{)}_{ij}=w^{ij}i,j=0,1,2,\cdots ,n-1$。

矩阵中的$w$是一个非常特殊的值，满足$w^n=1$，其公式为$w=e^{i2\pi /n}$。易知$w$在复平面的单位圆上，$w=\cos \frac{2\pi }{n}+i\sin \frac{2\pi }{n}$。

在傅里叶矩阵中，当我们计算$w$的幂时，$w$在单位圆上的角度翻倍。比如在$6$阶情形下，$w=e^{2\pi /6}$，即位于单位圆上$60^{\circ }$角处，其平方位于单位圆上$120^{\circ }$角处，而$w^6$位于$1$处。从开方的角度看，它们是$1$的$6$个六次方根，而一次的$w$称为原根。

• 我们现在来看$4$阶傅里叶矩阵，先计算$w$有$w=i,w^2=-1,w^3=-i,w^4=1$，$F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& i^2& i^3\\ 1& i^2& i^4& i^6\\ 1& i^3& i^6& i^9\end{array}\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$。

  矩阵的四个列向量正交，我们验证一下第二列和第四列，${\overline{c_2}}^T{c}_4=1-0+1-0=0$，正交。

  给矩阵乘上系数$\frac{1}{2}$（除以列向量的长度）得到标准正交矩阵$F_4=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$。

  此时有$F_4^H{F}_4=I$，于是该矩阵的逆矩阵也就是其共轭转置$F_4^H$。

快速傅里叶变换

对于傅里叶矩阵，$F_6,F_3$、$F_8,F_4$、$F_{64},F_{32}$之间有着特殊的关系。

举例，有傅里叶矩阵$F_{6}4$，一般情况下，用一个列向量右乘$F_{64}$需要约$64^2$次计算，显然这个计算量是比较大的。我们想要减少计算量，于是想要分解$F_{64}$，联系到$F_{32}$，有
$$\left[F_{64}\right]=\left[\begin{array}{cc}I& D\\ I& -D\end{array}\right]\left[\begin{array}{cc}{F}_{32}& 0\\ 0& F_{32}\end{array}\right]\left[\begin{array}{ccccccccccc}1& & \cdots & & & 0& & \cdots & & & \\ 0& & \cdots & & & 1& & \cdots & & & \\ & 1& \cdots & & & & 0& \cdots & & & \\ & 0& \cdots & & & & 1& \cdots & & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \cdots & 1& & & & \cdots & 0& \\ & & & \cdots & 0& & & & \cdots & 1& \end{array}\right]$$

我们分开来看等式右侧的这三个矩阵：

• 第一个矩阵由单位矩阵$I$和对角矩阵$D=\left[\begin{array}{ccccc}1& & & & \\ & w& & & \\ & & w^2& & \\ & & & \ddots & \\ & & & & w^{31}\end{array}\right]$组成，我们称这个矩阵为修正矩阵，显然其计算量来自$D$矩阵，对角矩阵的计算量约为$32$即这个修正矩阵的计算量约为$32$，单位矩阵的计算量忽略不计。

• 第二个矩阵是两个$F_{32}$与零矩阵组成的，计算量约为$2\times 32^2$。

• 第三个矩阵通常记为$P$矩阵，这是一个置换矩阵，其作用是讲前一个矩阵中的奇数列提到偶数列之前。

  将前一个矩阵从$[x_0{x}_1\cdots ]$变为$[x_0{x}_2\cdots x_1{x}_3\cdots ]$

  这个置换矩阵的计算量也可以忽略不计。

  参考FFT、How the FFT is computed做进一步讨论。

• 所以我们把$64^2$复杂度的计算化简为$2\times 32^2+32$复杂度的计算，我们可以进一步化简$F_{32}$得到与$F_{16}$有关的式子
  $$\left[\begin{array}{cc}{I}_{32}& D_{32}\\ I_{32}& -D_{32}\end{array}\right]\left[\begin{array}{cccc}{I}_{16}& D_{16}& & \\ I_{16}& -D_{16}& & \\ & & I_{16}& D_{16}\\ & & I_{16}& -D_{16}\end{array}\right]\left[\begin{array}{cccc}{F}_{16}& & & \\ & F_{16}& & \\ & & F_{16}& \\ & & & F_{16}\end{array}\right]\left[\begin{array}{cc}{P}_{16}& \\ & P_{16}\end{array}\right]\left[P_{32}\right]$$

  而$32^2$的计算量进一步分解为$2\times 16^2+16$的计算量，如此递归下去我们最终得到含有一阶傅里叶矩阵的式子。

• 来看化简后计算量，$2\left(2\left(2\left(2\left(2\left(2{\left(1\right)}^2+1\right)+2\right)+4\right)+8\right)+16\right)+32$，约为$6\times 32={\log }_{2}64\times \frac{64}{2}$，

  算法复杂度为$\frac{n}{2}{\log }_{2}n$。于是原来需要$n^2$的运算现在只需要$\frac{n}{2}{\log }_{2}n$就可以实现。