线性代数及矩阵论（八）

线性代数原文 MIT 18.06 线性代数笔记
矩阵论笔记来自 工程矩阵理论
综合线性代数 机器学习的数学基础
配合视频 线性代数 工程矩阵理论

第二十五讲：复习二

• 我们学习了正交性，有矩阵$Q=[q_1{q}_2\cdots q_n]$，若其列向量相互正交，则该矩阵满足$Q^{T}Q=E$。
• 进一步研究投影，我们了解了Gram-Schmidt正交化法，核心思想是求法向量，即从原向量中减去投影向量$E=b-P,P=Ax=\frac{A^{T}b}{A^{T}A}\cdot A$。
• 接着学习了行列式，根据行列式的前三条性质，我们拓展出了性质4-10。
• 我们继续推导出了一个利用代数余子式求行列式的公式。
• 又利用代数余子式推导出了一个求逆矩阵的公式。
• 接下来我们学习了特征值与特征向量的意义：$Ax=\lambda x$，进而了解了通过$|(A-\lambda E)|=0$求特征值、特征向量的方法。
• 有了特征值与特征向量，我们掌握了通过公式$AS=S\Lambda$对角化矩阵，同时掌握了求矩阵的幂$A^k=S{\Lambda }^k{S}^{-1}$。

微分方程不在本讲的范围内。下面通过往年例题复习上面的知识。

1. 求$a=\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$的投影矩阵$P$：$($由$a\perp (b-p)\to A^T(b-A\hat{x})=0$得到$\hat{x}={\left(A^{T}A\right)}^{-1}{A}^{T}b$，求得$p=A\hat{x}=A{\left(A^{T}A\right)}^{-1}{A}^{T}b=Pb$最终得到$P)$$\underline{P=A{\left(A^{T}A\right)}^{-1}{A}^T}\stackrel{a}{=}\frac{a{a}^T}{a^{T}a}=\frac{1}{9}\left[\begin{array}{ccc}4& 2& 4\\ 2& 1& 2\\ 4& 2& 4\end{array}\right]$。

   求$P$矩阵的特征值：观察矩阵易知矩阵奇异，且为秩一矩阵，则其零空间为$2$维，所以由$Px=0x$得出矩阵的两个特征向量为${\lambda }_1={\lambda }_2=0$；而从矩阵的迹得知$trace(P)=1={\lambda }_1+{\lambda }_2+{\lambda }_3=0+0+1$，则第三个特征向量为${\lambda }_3=1$。

   求${\lambda }_3=1$的特征向量：由$Px=x$我们知道经其意义为，$x$过矩阵$P$变换后不变，又有$P$是向量$a$的投影矩阵，所以任何向量经过$P$变换都会落在$a$的列空间中，则只有已经在$a$的列空间中的向量经过$P$的变换后保持不变，即其特征向量为$x=a=\left[\begin{array}{c}2\\ 1\\ 2\end{array}\right]$，也就是$Pa=a$。

   有差分方程$u_{k+1}=P{u}_k,u_0=\left[\begin{array}{c}9\\ 9\\ 0\end{array}\right]$，求解$u_k$：我们先不急于解出特征值、特征向量，因为矩阵很特殊（投影矩阵）。首先观察$u_1=P{u}_0$，式子相当于将$u_0$投影在了$a$的列空间中，计算得$u_1=a\frac{a^T{u}_0}{a^{T}a}=3a=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$（这里的$3$相当于做投影时的系数$\hat{x}$），其意义为$u_1$在$a$上且距离$u_0$最近。再来看看$u_2=P{u}_1$，这个式子将$u_1$再次投影到$a$的列空间中，但是此时的$u_1$已经在该列空间中了，再次投影仍不变，所以有$u_k=P^k{u}_0=P{u}_0=\left[\begin{array}{c}6\\ 3\\ 6\end{array}\right]$。

   上面的解法利用了投影矩阵的特殊性质，如果在一般情况下，我们需要使用$AS=S\Lambda \to A=S\Lambda S^{-1}\to u_{k+1}=A{u}_k=A^{k+1}{u}_0,u_0=Sc\to u_{k+1}=S{\Lambda }^{k+1}{S}^{-1}Sc=S{\Lambda }^{k+1}c$，最终得到公式$A^k{u}_0=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n$。题中$P$的特殊性在于它的两个“零特征值”及一个“一特征值”使得式子变为$A^k{u}_0=c_3{x}_3$，所以得到了上面结构特殊的解。

2. 将点$(1,4),(2,5),(3,8)$拟合到一条过零点的直线上：设直线为$y=Dt$，写成矩阵形式为$\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]D=\left[\begin{array}{c}4\\ 5\\ 8\end{array}\right]$，即$AD=b$，很明显$D$不存在。利用公式$A^{T}A\hat{D}=A^{T}b$得到$14D=38,\hat{D}=\frac{38}{14}$，即最佳直线为$y=\frac{38}{14}t$。这个近似的意义是将$b$投影在了$A$的列空间中。

3. 求$a_1=\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]a_2=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$的正交向量：找到平面$A=[a_1,a_2]$的正交基，使用Gram-Schmidt法，以$a_1$为基准，正交化$a_2$，也就是将$a_2$中平行于$a_1$的分量去除，即$a_2-x{a}_1=a_2-\frac{a_1^T{a}_2}{a_1^T{a}_1}{a}_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]-\frac{6}{14}\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]$

4. 有$4\times 4$矩阵$A$，其特征值为${\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4$，则矩阵可逆的条件是什么：矩阵可逆，则零空间中只有零向量，即$Ax=0x$没有非零解，则零不是矩阵的特征值。

   $|A{|}^{-1}$是什么：$|A{|}^{-1}=\frac{1}{|A|}$，而$|A|={\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4$，所以有$|A{|}^{-1}=\frac{1}{{\lambda }_1{\lambda }_2{\lambda }_3{\lambda }_4}$。

   $trace(A+E)$的迹是什么：我们知道$trace(A)=a_{11}+a_{22}+a_{33}+a_{44}={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4$，所以有$trace(A+E)=a_{11}+1+a_{22}+1+a_{33}+1+a_{44}+1={\lambda }_1+{\lambda }_2+{\lambda }_3+{\lambda }_4+4$。

5. 有矩阵$A_4=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 1& 0\\ 0& 1& 1& 1\\ 0& 0& 1& 1\end{array}\right]$，求$D_n=?D_{n-1}+?D_{n-2}$：求递归式的系数，使用代数余子式将矩阵按第一行展开得$|A{|}_4=1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 1& 1& 1\\ 0& 1& 1\end{array}\right|-1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 0& 1& 1\\ 0& 1& 1\end{array}\right|=1\cdot \left|\begin{array}{ccc}1& 1& 0\\ 1& 1& 1\\ 0& 1& 1\end{array}\right|-1\cdot \left|\begin{array}{cc}1& 1\\ 1& 1\end{array}\right|=|A{|}_3-|A{|}_2$。则可以看出有规律$D_n=D_{n-1}-D_{n-2},D_1=1,D_2=0$。

   使用我们在差分方程中的知识构建方程组$\{\begin{array}{ll}{D}_n& =D_{n-1}-D_{n-2}\\ D_{n-1}& =D_{n-1}\end{array}$，用矩阵表达有$\left[\begin{array}{c}{D}_n\\ D_{n-1}\end{array}\right]=\left[\begin{array}{cc}1& -1\\ 1& 0\end{array}\right]\left[\begin{array}{c}{D}_{n-1}\\ D_{n-2}\end{array}\right]$。计算系数矩阵$A_c$的特征值，$\left|\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}\right|={\lambda }^2-\lambda +1=0$，解得${\lambda }_1=\frac{1+\sqrt{3}i}{2},{\lambda }_2=\frac{1-\sqrt{3}i}{2}$，特征值为一对共轭复数。

   要判断递归式是否收敛，需要计算特征值的模，即实部平方与虚部平方之和$\frac{1}{4}+\frac{3}{4}=1$。它们是位于单位圆$e^{i\theta }$上的点，即$\cos \theta +i\sin \theta$，从本例中可以计算出$\theta =60^{\circ }$，也就是可以将特征值写作${\lambda }_1=e^{i\pi /3},{\lambda }_2=e^{-i\pi /3}$。注意，从复平面单位圆上可以看出，这些特征值的六次方将等于一：$e^{2\pi i}=e^{2\pi i}=1$。继续深入观察这一特性对矩阵的影响，${\lambda }_1^6={\lambda }^6=1$，则对系数矩阵有$A_c^6=I$。则系数矩阵$A_c$服从周期变化，既不发散也不收敛。

6. 有这样一类矩阵$A_4=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 2& 0\\ 0& 2& 0& 3\\ 0& 0& 3& 0\end{array}\right]$，求投影到$A_3$列空间的投影矩阵：有$A_3=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 2\\ 0& 2& 0\end{array}\right]$，按照通常的方法求$P=A\left(A^{T}A\right)A^T$即可，但是这样很麻烦。我们可以考察这个矩阵是否可逆，因为如果可逆的话，${\mathbb{R}}^4$空间中的任何向量都会位于$A_4$的列空间，其投影不变，则投影矩阵为单位矩阵$E$。所以按行展开求行列式$|A{|}_4=-1\cdot -1\cdot -3\cdot -3=9$，所以矩阵可逆，则$P=E$。

   求$A_3$的特征值及特征向量：$\left|A_3-\lambda E\right|=\left|\begin{array}{ccc}-\lambda & 1& 0\\ 1& -\lambda & 2\\ 0& 2& -\lambda \end{array}\right|=-{\lambda }^3+5\lambda =0$，解得${\lambda }_1=0,{\lambda }_2=\sqrt{5},{\lambda }_3=-\sqrt{5}$。

   我们可以猜测这一类矩阵的规律：奇数阶奇异，偶数阶可逆

第二十六讲、对称矩阵及正定性

1.对称矩阵

前面我们学习了矩阵的特征值与特征向量，也了解了一些特殊的矩阵及其特征值、特征向量，特殊矩阵的特殊性应该会反映在其特征值、特征向量中。如马尔科夫矩阵，有一特征值为$1$，本讲介绍（实）对称矩阵。

先提前介绍两个对称矩阵的特性：

1. $R(A^{T}A)=R(A)$
2. 特征值为实数；（对比第二十一讲介绍的旋转矩阵，其特征值为纯虚数。）
3. 特征向量相互正交。（当特征值重复时，特征向量也可以从子空间中选出相互正交正交的向量。）

典型的状况是，特征值不重复，特征向量相互正交。

• 那么在通常（可对角化）情况下，一个矩阵可以化为：$A=S\Lambda S^{-1}$；
• 在矩阵对称的情况下，通过性质3可知，由特征向量组成的矩阵$S$中的列向量是相互正交的，此时如果我们把特征向量的长度统一化为$1$，就可以得到一组标准正交的特征向量。则对于对称矩阵有$A=Q\Lambda Q^{-1}$，而对于标准正交矩阵，有$Q^{-1}=Q^T$，所以对称矩阵可以写为$$A=Q\Lambda Q^T\text{\hspace{1em}(1)}$$

观察它，我们发现这个分解本身就代表着对称，${\left(Q\Lambda Q^T\right)}^T={\left(Q^T\right)}^T{\Lambda }^T{Q}^T=Q\Lambda Q^T$。此式在数学上叫做谱定理（spectral theorem），谱就是指矩阵特征值的集合。（该名称来自光谱，指一些纯事物的集合，就像将特征值分解成为特征值与特征向量。）在力学上称之为主轴定理（principle axis theorem），从几何上看，它意味着如果给定某种材料，在合适的轴上来看，它就变成对角化的，方向就不会重复。

• 现在我们来证明性质1。对于矩阵$\underline{Ax=\lambda x}$，对于其共轭部分总有$\bar{A}\bar{x}=\bar{\lambda }\bar{x}$，根据前提条件我们只讨论实矩阵，则有$A\bar{x}=\bar{\lambda }\bar{x}$，将等式两边取转置有$\overline{{\bar{x}}^{T}A={\bar{x}}^T\bar{\lambda }}$。将“下划线”式两边左乘${\bar{x}}^T$有${\bar{x}}^{T}Ax={\bar{x}}^T\lambda x$，“上划线”式两边右乘$x$有${\bar{x}}^{T}Ax={\bar{x}}^T\bar{\lambda }x$，观察发现这两个式子左边是一样的，所以${\bar{x}}^T\lambda x={\bar{x}}^T\bar{\lambda }x$，则有$\lambda =\bar{\lambda }$（这里有个条件，${\bar{x}}^{T}x\ne 0$），证毕。

  观察这个前提条件，${\bar{x}}^{T}x=\left[\begin{array}{cccc}{\bar{x}}_1& {\bar{x}}_2& \cdots & {\bar{x}}_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]={\bar{x}}_1{x}_1+{\bar{x}}_2{x}_2+\cdots +{\bar{x}}_n{x}_n$，设$x_1=a+ib,{\bar{x}}_1=a-ib$则${\bar{x}}_1{x}_1=a^2+b^2$，所以有${\bar{x}}^{T}x>0$。而${\bar{x}}^{T}x$就是$x$长度的平方。

  拓展这个性质，当$A$为复矩阵，根据上面的推导，则矩阵必须满足$A={\bar{A}}^T$时，才有性质1、性质2成立（教授称具有这种特征值为实数、特征向量相互正交的矩阵为“好矩阵”）。

继续研究$A=Q\Lambda Q^T=[q_1{q}_2\cdots q_n]\left[\begin{array}{cccc}{\lambda }_1& & \cdots & \\ & {\lambda }_2& \cdots & \\ ⋮& ⋮& \ddots & ⋮\\ & & \cdots & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{q}_1^T\\ q_1^T\\ ⋮\\ q_1^T\end{array}\right]={\lambda }_1{q}_1{q}_1^T+{\lambda }_2{q}_2{q}_2^T+\cdots +{\lambda }_n{q}_n{q}_n^T$，注意这个展开式中的$q{q}^T$，$q$是单位列向量所以$q^{T}q=1$，结合我们在第十五讲所学的投影矩阵的知识有$\frac{q{q}^T}{q^{T}q}=q{q}^T$是一个投影矩阵，很容易验证其性质，比如平方它会得到$q{q}^{T}q{q}^T=q{q}^T$于是多次投影不变等。

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵。

在知道对称矩阵的特征值皆为实数后，我们再来讨论这些实数的符号，因为特征值的正负号会影响微分方程的收敛情况（第二十三讲，需要实部为负的特征值保证收敛）。用消元法取得矩阵的主元，观察主元的符号，主元符号的正负数量与特征向量的正负数量相同。

• 若$A$为实对称矩阵，且$A^2=0$，那么$A=0$

2.合同关系

• 矩阵的等价，相似，合同
• 矩阵的合同

3.二次型，标准形和规范形

• 理解二次型

• 关于二次型的意义

• 对称矩阵的特征值矩阵可以用于将二次型化为标准型（正交变换法）

需要注意，二次型的标准形不唯一（但规范形是唯一的），但不同标准形中所含项数是相同的（即二次型的秩），而且标准形中正项个数（或负项个数）也是相同的，即惯性定理。

4.正定性

• 正定二次型

如果对称矩阵是“好矩阵”，则正定矩阵（positive definite）是其一个更好的子类：正定矩阵指特征值均为正数的对称矩阵（根据上面的性质有矩阵的主元均为正）。

举个例子，$\left[\begin{array}{cc}5& 2\\ 2& 3\end{array}\right]$，由行列式消元知其主元为$5,\frac{11}{5}$，按一般的方法求特征值有$\left|\begin{array}{cc}5-\lambda & 2\\ 2& 3-\lambda \end{array}\right|={\lambda }^2-8\lambda +11=0,\lambda =4\pm \sqrt{5}$

正定矩阵的另一个性质是，所有子行列式为正。对上面的例子有$\left|\begin{array}{c}5\end{array}\right|=5,\left|\begin{array}{cc}5& 2\\ 2& 3\end{array}\right|=11$。

我们看到正定矩阵将早期学习的的消元主元、中期学习的的行列式、后期学习的特征值结合在了一起。

一些结论：

1. 对于正定矩阵$A$，$|A+E|>1$
2. 当$m\times n$的二次型矩阵$A$的正惯性系数为$n$时，矩阵正定
3. 对称矩阵$A$为正定矩阵的充要条件是$A$和单位矩阵$E$合同（化为规范形后对角线全为$1$）

第二十七讲：复数矩阵和快速傅里叶变换

本讲主要介绍复数向量、复数矩阵的相关知识（包括如何做复数向量的点积运算、什么是复数对称矩阵等），以及傅里叶矩阵（最重要的复数矩阵）和快速傅里叶变换。

1.复数矩阵运算

先介绍复数向量，我们不妨换一个字母符号来表示：$z=\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，向量的每一个分量都是复数。此时$z$不再属于${\mathbb{R}}^n$实向量空间，它现在处于${\mathbb{C}}^n$复向量空间。
复数域中，与正交矩阵对应的是酉矩阵，与对称矩阵对应的是Hermit矩阵（H矩阵），它们的性质基本相似，只需要把转置$A^T$替换为共轭转置$A^H=A$，而正规阵指在复数域中符合$A^{H}A=A{A}^H$的矩阵，$C$是正规阵和$C=P^H\Lambda P$等价，其中$P$是酉矩阵

1.1.计算复向量的模

对比实向量，我们计算模只需要计算$\left|v\right|=\sqrt{v^{T}v}$即可，而如果对复向量使用$z^{T}z$则有$z^{T}z=\left[\begin{array}{cccc}{z}_1& z_2& \cdots & z_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]=z_1^2+z_2^2+\cdots +z_n^2$，这里$z_i$是复数，平方后虚部为负，求模时本应相加的运算变成了减法。（如向量$\left[\begin{array}{cc}1& i\end{array}\right]$，右乘其转置后结果为$0$，但此向量的长度显然不是零。）

根据上一讲我们知道，应使用$\left|z\right|=\sqrt{{\bar{z}}^{T}z}$，即$\left[\begin{array}{cccc}{\bar{z}}_1& {\bar{z}}_2& \cdots & {\bar{z}}_n\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ ⋮\\ z_n\end{array}\right]$，即使用向量共轭的转置乘以原向量即可。（如向量$\left[\begin{array}{cc}1& i\end{array}\right]$，右乘其共轭转置后结果为$\left[\begin{array}{cc}1& -i\end{array}\right]\left[\begin{array}{c}1\\ i\end{array}\right]=2$。）

我们把共轭转置乘以原向量记为$z^{H}z$，$H$读作埃尔米特（人名为Hermite，形容词为Hermitian）

1.2.计算向量的内积

有了复向量模的计算公式，同理可得，对于复向量，内积不再是实向量的$y^{T}x$形式，复向量内积应为$y^{H}x$。

1.3.对称性

对于实矩阵，$A^T=A$即可表达矩阵的对称性。而对于复矩阵，我们同样需要求一次共轭${\bar{A}}^T=A$。举个例子$\left[\begin{array}{cc}2& 3+i\\ 3-i& 5\end{array}\right]$是一个复数情况下的对称矩阵。这叫做埃尔米特矩阵，有性质$A^H=A$。

1.4.正交性

在第十七讲中，我们这样定义标准正交向量：$q_i^T{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$。现在，对于复向量我们需要求共轭：${\bar{q}}_i^T{q}_j=q_i^H{q}_j=\{\begin{array}{l}0i\ne j\\ 1i=j\end{array}$。

第十七讲中的标准正交矩阵：$Q=[q_1{q}_2\cdots q_n]$有$Q^{T}Q=E$。现在对于复矩阵则有$Q^{H}Q=E$。

就像人们给共轭转置起了个“埃尔米特”这个名字一样，正交性（orthogonal）在复数情况下也有了新名字，酉（unitary），酉矩阵（unitary matrix）与正交矩阵类似，满足$Q^{H}Q=E$的性质。而前面提到的傅里叶矩阵就是一个酉矩阵。

2.傅里叶矩阵

$n$阶傅里叶矩阵$F_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right]$，对于每一个元素有$(F_n{)}_{ij}=w^{ij}i,j=0,1,2,\cdots ,n-1$。矩阵中的$w$是一个非常特殊的值，满足$w^n=1$，其公式为$w=e^{i2\pi /n}$。易知$w$在复平面的单位圆上，$w=\cos \frac{2\pi }{n}+i\sin \frac{2\pi }{n}$。

在傅里叶矩阵中，当我们计算$w$的幂时，$w$在单位圆上的角度翻倍。比如在$6$阶情形下，$w=e^{2\pi /6}$，即位于单位圆上$60^{\circ }$角处，其平方位于单位圆上$120^{\circ }$角处，而$w^6$位于$1$处。从开方的角度看，它们是$1$的$6$个六次方根，而一次的$w$称为原根。

• 我们现在来看$4$阶傅里叶矩阵，先计算$w$有$w=i,w^2=-1,w^3=-i,w^4=1$，$F_4=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& i^2& i^3\\ 1& i^2& i^4& i^6\\ 1& i^3& i^6& i^9\end{array}\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$。

  矩阵的四个列向量正交，我们验证一下第二列和第四列，${\overline{c_2}}^T{c}_4=1-0+1-0=0$，正交。不过我们应该注意到，$F_4$的列向量并不是标准的，我们可以给矩阵乘上系数$\frac{1}{2}$（除以列向量的长度）得到标准正交矩阵$F_4=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& i& -1& -i\\ 1& -1& 1& -1\\ 1& -i& -1& i\end{array}\right]$。此时有$F_4^H{F}_4=I$，于是该矩阵的逆矩阵也就是其共轭转置$F_4^H$。

3.快速傅里叶变换（Fast Fourier transform/FFT）

对于傅里叶矩阵，$F_6,F_3$、$F_8,F_4$、$F_{64},F_{32}$之间有着特殊的关系。

举例，有傅里叶矩阵$F_{6}4$，一般情况下，用一个列向量右乘$F_{64}$需要约$64^2$次计算，显然这个计算量是比较大的。我们想要减少计算量，于是想要分解$F_{64}$，联系到$F_{32}$，有$\left[F_{64}\right]=\left[\begin{array}{cc}E& D\\ I& -D\end{array}\right]\left[\begin{array}{cc}{F}_{32}& 0\\ 0& F_{32}\end{array}\right]\left[\begin{array}{ccccccccccc}1& & \cdots & & & 0& & \cdots & & & \\ 0& & \cdots & & & 1& & \cdots & & & \\ & 1& \cdots & & & & 0& \cdots & & & \\ & 0& \cdots & & & & 1& \cdots & & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \ddots & & & & & \ddots & & \\ & & & \cdots & 1& & & & \cdots & 0& \\ & & & \cdots & 0& & & & \cdots & 1& \end{array}\right]$。

我们分开来看等式右侧的这三个矩阵：

• 第一个矩阵由单位矩阵$E$和对角矩阵$D=\left[\begin{array}{ccccc}1& & & & \\ & w& & & \\ & & w^2& & \\ & & & \ddots & \\ & & & & w^{31}\end{array}\right]$组成，我们称这个矩阵为修正矩阵，显然其计算量来自$D$矩阵，对角矩阵的计算量约为$32$即这个修正矩阵的计算量约为$32$，单位矩阵的计算量忽略不计。

• 第二个矩阵是两个$F_{32}$与零矩阵组成的，计算量约为$2\times 32^2$。

• 第三个矩阵通常记为$P$矩阵，这是一个置换矩阵，其作用是讲前一个矩阵中的奇数列提到偶数列之前，将前一个矩阵从$[x_0{x}_1\cdots ]$变为$[x_0{x}_2\cdots x_1{x}_3\cdots ]$，这个置换矩阵的计算量也可以忽略不计。（这里教授似乎在黑板上写错了矩阵，可以参考FFT、How the FFT is computed做进一步讨论。）

所以我们把$64^2$复杂度的计算化简为$2\times 32^2+32$复杂度的计算，我们可以进一步化简$F_{32}$得到与$F_{16}$有关的式子$\left[\begin{array}{cc}{I}_{32}& D_{32}\\ I_{32}& -D_{32}\end{array}\right]\left[\begin{array}{cccc}{I}_{16}& D_{16}& & \\ I_{16}& -D_{16}& & \\ & & I_{16}& D_{16}\\ & & I_{16}& -D_{16}\end{array}\right]\left[\begin{array}{cccc}{F}_{16}& & & \\ & F_{16}& & \\ & & F_{16}& \\ & & & F_{16}\end{array}\right]\left[\begin{array}{cc}{P}_{16}& \\ & P_{16}\end{array}\right]\left[P_{32}\right]$。而$32^2$的计算量进一步分解为$2\times 16^2+16$的计算量，如此递归下去我们最终得到含有一阶傅里叶矩阵的式子。

来看化简后计算量，$2\left(2\left(2\left(2\left(2\left(2{\left(1\right)}^2+1\right)+2\right)+4\right)+8\right)+16\right)+32$，约为$6\times 32={\log }_{2}64\times \frac{64}{2}$，算法复杂度为$\frac{n}{2}{\log }_{2}n$。

于是原来需要$n^2$的运算现在只需要$\frac{n}{2}{\log }_{2}n$就可以实现了。不妨看看$n=10$的情况，不使用FFT时需要$n^2=1024\times 1024$次运算，使用FFT时只需要$\frac{n}{2}{\log }_{2}n=5\times 1024$次运算，运算量大约是原来的$\frac{1}{200}$。

下一讲将继续介绍特征值、特征向量及正定矩阵。

第二十八讲、正定矩阵和最小值

本讲我们会了解如何完整的测试一个矩阵是否正定，测试$x^{T}Ax$是否具有最小值，最后了解正定的几何意义——椭圆（ellipse）和正定性有关，双曲线（hyperbola）与正定无关。另外，本讲涉及的矩阵均为实对称矩阵。

1.正定性的判断

我们仍然从二阶说起，有矩阵$A=\left[\begin{array}{cc}a& b\\ b& d\end{array}\right]$，判断其正定性有以下方法：

1. 矩阵的所有特征值大于零则矩阵正定：${\lambda }_1>0,{\lambda }_2>0$；

2. 矩阵的所有顺序主子阵（leading principal submatrix）的行列式（即顺序主子式，leading principal minor）大于零则矩阵正定：$a>0,ac-b^2>0$；

3. 矩阵消元后主元均大于零：$a>0,\frac{ac-b^2}{a}>0$；

4. $x^{T}Ax>0$；
   负定矩阵的性质：

5. 对角线元素都是负数

6. 若$A$与$B$都是$H$阵，且共轭合同，那么$A$与$B$的负定是等价的

矩阵$A$负定的等价条件：

1. 特征值均小于$0$
2. $A$与$E$共轭合同（负定矩阵性质2）
3. $A$的奇数阶顺序主子式均小于$0$，偶数阶顺序主子式均大于$0$

半正定矩阵的性质：

1. 对角线元素$d_i\ge 0$
2. 若$A$与$B$都是$H$阵，且共轭合同，那么$A$与$B$的半正定是等价的

矩阵$A$半正定的等价条件：

1. 特征值均大于等于$0$
2. $A$与$\left[\begin{array}{cc}{I}_r& \\ & 0\end{array}\right]$共轭合同（半正定矩阵性质2）
3. 存在矩阵$P$（并不要求是可逆的，如果可逆可以判断是正定矩阵），$A=P^{H}P$
4. $A$的各阶顺序主子式均大于等于$0$

大多数情况下使用4来定义正定性，而用前三条来验证正定性。

来计算一个例子：$A=\left[\begin{array}{cc}2& 6\\ 6& ?\end{array}\right]$，在$?$处填入多少才能使矩阵正定？

• 来试试$18$，此时矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 18\end{array}\right]$，$|A|=0$，此时的矩阵成为半正定矩阵（positive semi-definite）。矩阵奇异，其中一个特征值必为$0$，从迹得知另一个特征值为$20$。矩阵的主元只有一个，为$2$。

  计算$x^{T}Ax$，得$\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\left[\begin{array}{cc}2& 6\\ 6& 18\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=2x_1^2+12x_1{x}_2+18x_2^2$这样我们得到了一个关于$x_1,x_2$的函数$f(x_1,x_2)=2x_1^2+12x_1{x}_2+18x_2^2$，这个函数不再是线性的，在本例中这是一个纯二次型（quadratic）函数，它没有线性部分、一次部分或更高次部分（$Ax$是线性的，但引入$x^T$后就成为了二次型）。

  当$?$取$18$时，判定1、2、3都是“刚好不及格”。

• 我们可以先看“一定不及格”的样子，令$?=7$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 7\end{array}\right]$，二阶顺序主子式变为$-22$，显然矩阵不是正定的，此时的函数为$f(x_1,x_2)=2x_1^2+12x_1{x}_2+7x_2^2$，如果取$x_1=1,x_2=-1$则有$f(1,-1)=2-12+7<0$。

  如果我们把$z=2x^2+12xy+7y^2$放在直角坐标系中，图像过原点$z(0,0)=0$，当$y=0$或$x=0$或$x=y$时函数为开口向上的抛物线，所以函数图像在某些方向上是正值；而在某些方向上是负值，比如$x=-y$，所以函数图像是一个马鞍面（saddle），$(0,0,0)$点称为鞍点（saddle point），它在某些方向上是极大值点，而在另一些方向上是极小值点。（实际上函数图像的最佳观测方向是沿着特征向量的方向。）

• 再来看一下“一定及格”的情形，令$?=20$，矩阵为$A=\left[\begin{array}{cc}2& 6\\ 6& 20\end{array}\right]$，行列式为$|A|=4$，迹为$trace(A)=22$，特征向量均大于零，矩阵可以通过测试。此时的函数为$f(x_1,x_2)=2x_1^2+12x_1{x}_2+20x_2^2$，函数在除$(0,0)$外处处为正。我们来看看$z=2x^2+12xy+20y^2$的图像，式子的平方项均非负，所以需要两个平方项之和大于中间项即可，该函数的图像为抛物面（paraboloid）。在$(0,0)$点函数的一阶偏导数均为零，二阶偏导数均为正（马鞍面的一阶偏导数也为零，但二阶偏导数并不均为正），函数在该点取极小值。

  在微积分中，一元函数取极小值需要一阶导数为零且二阶导数为正$\frac{\mathrm{d}u}{\mathrm{d}x}=0,\frac{{\mathrm{d}}^{2}u}{\mathrm{d}{x}^2}>0$。在线性代数中我们遇到了了多元函数$f(x_1,x_2,\cdots ,x_n)$，要取极小值需要二阶偏导数矩阵为正定矩阵。

  在本例中（即二阶情形），如果能用平方和的形式来表示函数（标准形），则很容易看出函数是否恒为正，$f(x,y)=2x^2+12xy+20y^2=2{\left(x+3y\right)}^2+2y^2$。另外，如果是上面的$?=7$的情形，则有$f(x,y)=2(x+3y{)}^2-11y^2$，如果是$?=18$的情形，则有$f(x,y)=2(x+3y{)}^2$。

  如果令$z=1$，相当于使用$z=1$平面截取该函数图像，将得到一个椭圆曲线。另外，如果在$?=7$的马鞍面上截取曲线将得到一对双曲线。

  再来看这个矩阵的消元，$\left[\begin{array}{cc}2& 6\\ 6& 20\end{array}\right]=\left[\begin{array}{cc}1& 0\\ -3& 1\end{array}\right]\left[\begin{array}{cc}2& 6\\ 0& 2\end{array}\right]$，这就是$A=LU$，可以发现矩阵$L$中的项与配平方中未知数的系数有关，而主元则与两个平方项外的系数有关，这也就是为什么正数主元得到正定矩阵。

  上面又提到二阶导数矩阵，这个矩阵型为$\left[\begin{array}{cc}{f}_{xx}& f_{xy}\\ f_{yx}& f_{yy}\end{array}\right]$，显然，矩阵中的主对角线元素（纯二阶导数）必须为正，并且主对角线元素必须足够大来抵消混合导数的影响。同时还可以看出，因为二阶导数的求导次序并不影响结果，所以矩阵必须是对称的。现在我们就可以计算$n\times n$阶矩阵了。

接下来计算一个三阶矩阵，$A=\left[\begin{array}{ccc}2& -1& 0\\ -1& 2& -1\\ 0& -1& 2\end{array}\right]$，它是正定的吗？函数$x^{T}Ax$是多少？函数在原点取最小值吗？图像是什么样的？

• 先来计算矩阵的顺序主子式，分别为$2,3,4$；再来计算主元，分别为$2,\frac{3}{2},\frac{4}{3}$；计算特征值，${\lambda }_1=2-\sqrt{2},{\lambda }_2=2,{\lambda }_3=2$