线性代数及矩阵论（十）

线性代数原文 MIT 18.06 线性代数笔记
矩阵论笔记来自 工程矩阵理论
综合线性代数 机器学习的数学基础
配合视频 线性代数 工程矩阵理论

第三十二讲：基变换和图像压缩

1.图像压缩

本讲我们介绍一种图片有损压缩的一种方法：JPEG。

假设我们有一张图片，长宽皆为$512$个像素，我们用$x_i$来表示第$i$个像素，如果是灰度照片，通常$x_i$可以在$[0,255]$上取值，也就是8 bits。对于这承载这张图片信息的向量$x$来说，有$x\in {\mathbb{R}}^n,n=512^2$。而如果是彩色照片，通常需要三个量来表示一个像素，则向量长度也会变为现在的三倍。

如此大的数据不经过压缩很难广泛传播。教学录像采用的压缩方法就是JPEG（Joint Photographic Expert Group，联合图像专家组），该方法采用的就是基变换的方式压缩图像。比如说一块干净的黑白，其附近的像素值应该非常接近，此时如果一个像素一个像素的描述黑白灰度值就太浪费空间了，所以标准基在这种情况下并不能很好的利用图片的特性。

我们知道，标准基是 $\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right]\cdots \left[\begin{array}{c}0\\ 0\\ ⋮\\ 1\end{array}\right]$，我们想寻找一个更好的基。

我们试试使用别的基描述图片，比如：

• 基中含有的一个向量 ${\left[\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right]}^T$，即分量全为$1$的向量，一个向量就可以完整的给出所有“像素一致图像”的信息；
• 另一个向量 ${\left[\begin{array}{ccccc}1& -1& \cdots & 1& -1\end{array}\right]}^T$，正负交替出现，比如描述国际象棋棋盘；
• 第三个个向量 ${\left[\begin{array}{ccccc}1& 1& \cdots & -1& -1\end{array}\right]}^T$，一半正一半负，比如描述一半亮一半暗的图片；

1.1.傅里叶基

现在我们来介绍傅里叶基，以$8\times 8$傅里叶基为例（这表示我们每次只处理$8\times 8$像素的一小块图像）：

$F_n=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right],w=e^{i2\pi /n},n=8$，我们不需要深入$8$阶傅里叶基的细节，先看看使用傅里叶基的思路是怎样的。

每次处理$8\times 8$的一小块时，会遇到$64$个像素，也就是$64$个基向量，$64$个系数，在$64$维空间中利用傅里叶向量做基变换：

• 输入信号$x$为$64$维向量$\stackrel{基变换}{}$输出信号$c$为$x$在傅里叶基下的$64$个系数。

  注意前面做的都是无损的步骤，我们只是选了${\mathbb{R}}^{6}4$的一组基，接着把信号用这组基表达出来。

  接下来的步骤就涉及到压缩和损失了：

• 一种方法是扔掉较小的系数，这叫做阈值量化（thresholding），我们设定一个阈值，任何不在阈值范围内的基向量、系数都将丢弃，虽然有信息损失，但是只要阈值设置合理，肉眼几乎无法区别压缩前后的图片。经由此步处理，向量$c$变为$\hat{c}$，而$\hat{c}$将有很多$0$。

  通常${\left[\begin{array}{cccc}1& 1& \cdots & 1\end{array}\right]}^T$向量很难被丢弃，它通常具有较大的系数。但是${\left[\begin{array}{ccccc}1& -1& \cdots & 1& -1\end{array}\right]}^T$向量在平滑信号中的可能性就很小了。前一个的向量称作低频信号，频率为$0$，后一个向量称作高频信号，也是我们能够得到的最高频率的信号，如果是噪音或抖动输出的就是它。

  比如讲课的视频图像信号，这种平滑的情形下输出的大多是低频信号，很少出现噪音。

• 接着我们用这些系数$\hat{c}$来重构信号，用这些系数乘以对应的基向量$\hat{x}=\sum {\hat{c}}_i{v}_i$，但是这个求和不再是$64$项求和了，因为压缩后的系数中有很多零存在，比如说我们压缩后$\hat{c}$中仅有三个非零项，那么压缩比将近达到$21:1$。

我们再来提一下视频压缩：视频是一系列连续图像，且相近的帧非常接近，而我们的压缩算法就需要利用这个相近性质。在实际生活中，从时间与空间的角度讲，事物不会瞬间改变。

1.2.小波基

接下来介绍另一组基，它是傅里叶基的竞争对手，名为小波（wavelets），同样以$8\times 8$为例：
$\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\\ 1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ 1\\ 1\\ -1\\ -1\\ -1\\ -1\end{array}\right]\left[\begin{array}{c}1\\ 1\\ -1\\ -1\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 1\\ 1\\ -1\\ -1\end{array}\right]\left[\begin{array}{c}1\\ -1\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 1\\ -1\\ 0\\ 0\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 1\\ -1\\ 0\\ 0\end{array}\right]\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 1\\ -1\end{array}\right]$。

可以看出傅里叶基中频率最高的向量为小波后四个基向量之和。

在标准基下的一组（按八个一组计算，$P\in {\mathbb{R}}^8$）像素$P=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_8\end{array}\right]=c_1{w}_1+c_2{w}_2+\cdots +c_n{w}_n=[w_1{w}_2\cdots w_n]\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]$，即$P=WC$，我们需要计算像素向量在另一组基下系数，所以有$C=W^{-1}P$。

此时我们发现，如果选取“好的基”会使得逆矩阵的求解过程变简单，所谓“好的基”：

• 计算快；

  我们需要大量使用$P=WC$来计算整幅图在另一个基下的表达，在傅里叶变换中我们学习了快速傅里叶变换（FFT），同样的在小波变换中也有快速小波变换（FWT）；

  另外的，我们需要计算其逆矩阵，所以这个逆矩阵计算也必须快，观察小波基不难发现基向量相互正交，假设我们已经对小波基做了标准化处理，则小波基是一组标准正交基，所以有$W^{-1}=W^T$。

• 仅需少量向量即可最大限度的重现图像。

  因为在图像压缩时，我们会舍弃较小的系数，比如$c_5,c_6,c_7,c_8$，所以后四个的基向量都会被舍弃，重现图像时仅使用前四个基向量的线性组合，而好的基选取会在使用较少基的前提下保证图像质量不会有较大损失。

  题外话：JPEG2000标准会将小波基纳入压缩算法。我们上面介绍的是最简单的一组小波基，而FBI的指纹识别或JPEG2000的压缩算法纳入的是更加平滑的小波基，不会使用像上面介绍的那种直接从$1$变为$-1$的基。

要想继续了解小波基，可以参考一篇非常精彩的文章能不能通俗的讲解下傅立叶分析和小波分析之间的关系？——“咚懂咚懂咚“的答案

2.基变换

前面介绍小波基的时候我们就已经做了一次基变换。

将目标基的向量按列组成矩阵$W$，则基变换就是$\left[x\right]\stackrel{x=Wc}{}\left[c\right]$。

看一个例子，有线性变换$T:{\mathbb{R}}^8\to {\mathbb{R}}^8$，在第一组基$v_1,v_2,\cdots ,v_8$上计算得到矩阵$A$，在第二组基$w_1,w_2,\cdots ,w_n$上计算得到矩阵$B$。先说结论，矩阵$A,B$是相似的，也就是有$B=M^{-1}AM$，而$M$就是基变换矩阵。

进行基变换时会发生两件事：

1. 每个向量都会有一组新的坐标，而$x=Wc$就是新旧坐标的关系；

2. 每个线性变换都会有一个新的矩阵，而$B=M^{-1}AM$就是新旧矩阵的关系。

   再来看什么是$A$矩阵？

   对于第一组基$v_1,v_2,\cdots ,v_8$，要完全了解线性变换$T$，只需要知道$T$作用在基的每一个向量上会产生什么结果即可。因为在这个基下的每一个向量都可以写成$x=c_1{v}_1+c_2{v}_2+\cdots +c_8{v}_8$的形式，所以$T(x)=c_{1}T(v_1)+c_{2}T(v_2)+\cdots +c_{8}T(v_8)$。

   而且$T(v_1)=a_{11}{v}_1+a_{21}{v}_2+\cdots +a_{81}{v}_8,T(v_2)=a_{12}{v}_1+a_{22}{v}_2+\cdots +a_{82}{v}_8,\cdots$，则矩阵$\left[\begin{array}{c}A\end{array}\right]=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$

   这些都是上一讲结尾所涉及的知识。

最后我们以一个更加特殊的基收场，设$v_1,v_2,\cdots ,v_n$是一组特征向量，也就是$T(v_i)={\lambda }_1{v}_i$，那么问题就是矩阵$A$是什么？

继续使用线性变换中学到的，输入的第一个向量$v_1$经由$T$加工后得到${\lambda }_1{v}_1$，第二个向量$v_2\stackrel{T}{}{\lambda }_2{v}_2$，继续做下去，最终有$v_n=v_n\stackrel{T}{}{\lambda }_n{v}_n$。除了${\lambda }_i{v}_i$外的其他基向量都变为$0$，那么矩阵$A=\left[\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right]$。

这是一个非常完美的基，我们在图像处理中最想要的就是这种基，但是找出像素矩阵的特征向量代价太大，所以我们找了一些代价小同时效果也不错的基，比如小波基、傅里叶基等等。

第三十三讲：复习三

在上一次复习中，我们已经涉及了求特征值与特征向量（通过解方程$|A-\lambda E|=0$得出$\lambda$，再将$\lambda$带入$A-\lambda E$求其零空间得到$x$）。

接下的章节来我们学习了：

• 解微分方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au$，并介绍了指数矩阵$e^{At}$；
• 介绍了对称矩阵的性质$A=A^T$，了解了其特征值均为实数且总是存在足量的特征向量（即使特征值重复特征向量也不会短缺，总是可以对角化）；同时对称矩阵的特征向量正交，所以对称矩阵对角化的结果可以表示为$A=Q\Lambda Q^T$；
• 接着我们学习了正定矩阵；
• 然后学习了相似矩阵，$B=M^{-1}AM$，矩阵$A,B$特征值相同，其实相似矩阵是用不同的基表示相同的东西；
• 最后我们学习了奇异值分解$A=U\Sigma V^T$。

现在，我们继续通过例题复习这些知识点。

1. 解方程$\frac{\mathrm{d}u}{\mathrm{d}t}=Au=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& -1\\ 0& 1& 0\end{array}\right]u$。

   首先通过$A$的特征值/向量求通解$u(t)=c_1{e}^{{\lambda }_{1}t}{x}_1+c_2{e}^{{\lambda }_{2}t}{x}_2+c_3{e}^{{\lambda }_{3}t}{x}_3$，很明显矩阵是奇异的，所以有${\lambda }_1=0$；

   继续观察矩阵会发现$A^T=-A$，这是一个反对称矩阵（anti-symmetric）或斜对陈矩阵（skew-symmetric），这与我们在第二十一讲介绍过的旋转矩阵类似，它的特征值应该为纯虚数（特征值在虚轴上），所以我们猜测其特征值应为$0\cdot i,b\cdot i,-b\cdot i$。通过解$|(A-\lambda E)=0$验证一下：$\left[\begin{array}{ccc}-\lambda & -1& 0\\ 1& -\lambda & -1\\ 0& 1& \lambda \end{array}\right]={\lambda }^3+2\lambda =0,{\lambda }_2=\sqrt{2}i,{\lambda }_3=-\sqrt{2}i$。

   此时$u(t)=c_1+c_2{e}^{\sqrt{2}it}{x}_2+c_3{e}^{-\sqrt{2}it}{x}_3$，$e^{\sqrt{2}it}$始终在复平面单位圆上，所以$u(t)$及不发散也不收敛，它只是具有周期性。当$t=0$时有$u(0)=c_1+c_2+c_3$，如果使$e^{\sqrt{2}iT}=1$即$\sqrt{2}iT=2\pi i$则也能得到$u(T)=c_1+c_2+c_3$，周期$T=\pi \sqrt{2}$。

   另外，反对称矩阵同对称矩阵一样，具有正交的特征向量。当矩阵满足什么条件时，其特征向量相互正交？答案是必须满足$A{A}^T=A^{T}A$。所以对称矩阵$A=A^T$满足此条件，同时反对称矩阵$A=-A^T$也满足此条件，而正交矩阵$Q^{-1}=Q^T$同样满足此条件，这三种矩阵的特征向量都是相互正交的。

   上面的解法并没有求特征向量，进而通过$u(t)=e^{At}u(0)$得到通解，现在我们就来使用指数矩阵来接方程。如果矩阵可以对角化（在本例中显然可以），则$A=S\Lambda S^{-1},e^{At}=S{e}^{\Lambda t}{S}^{-1}=S\left[\begin{array}{cccc}{e}^{{\lambda }_{1}t}& & & \\ & e^{{\lambda }_{1}t}& & \\ & & \ddots & \\ & & & e^{{\lambda }_{1}t}\end{array}\right]S^{-1}$，这个公式在能够快速计算$S,\lambda$时很方便求解。

2. 已知矩阵的特征值${\lambda }_1=0,{\lambda }_2=c,{\lambda }_3=2$，特征向量$x_1=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right],x_2=\left[\begin{array}{ccc}1& -1& 0\end{array}\right],x_3=\left[\begin{array}{c}1\\ 1\\ -2\end{array}\right]$：

   • $c$如何取值才能保证矩阵可以对角化？

     答：其实可对角化只需要有足够的特征向量即可，而现在特征向量已经足够，所以$c$可以取任意值。

   • $c$如何取值才能保证矩阵对称？

     答：我们知道，对称矩阵的特征值均为实数，且注意到给出的特征向量是正交的，有了实特征值及正交特征向量，我们就可以得到对称矩阵。

   • $c$如何取值才能使得矩阵正定？

     答：已经有一个零特征值了，所以矩阵不可能是正定的，但可以是半正定的，如果$c$去非负实数。

   • $c$如何取值才能使得矩阵是一个马尔科夫矩阵？

     答：在第二十四讲我们知道马尔科夫矩阵的性质：必有特征值等于$1$，其余特征值均小于$1$，所以$A$不可能是马尔科夫矩阵。

   • $c$取何值才能使得$P=\frac{A}{2}$是一个投影矩阵？

     答：我们知道投影矩阵的一个重要性质是$P^2=P$，所以有对其特征值有${\lambda }^2=\lambda$，则$c=0,2$

   题设中的正交特征向量意义重大，如果没有正交这个条件，则矩阵$A$不会是对称、正定、投影矩阵。因为特征向量的正交性我们才能直接去看特征值的性质。

3. 复习奇异值分解，$A=U\Sigma V^T$：

   先求正交矩阵$V$：$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V\left({\Sigma }^T\Sigma \right)V^T$，所以$V$是矩阵$A^{T}A$的特征向量矩阵，而矩阵${\Sigma }^T\Sigma$是矩阵$A^{T}A$的特征值矩阵，即$A^{T}A$的特征值为${\sigma }^2$。

   接下来应该求正交矩阵$U$：$A{A}^T=U{\Sigma }^T{V}^{T}V\Sigma U^T=U\left({\Sigma }^T\Sigma \right)U^T$，但是请注意，我们在这个式子中无法确定特征向量的符号，我们需要使用$A{v}_i={\sigma }_i{u}_i$，通过已经求出的$v_i$来确定$u_i$的符号（因为$AV=U\Sigma$），进而求出$U$。

   已知$A=\left[u_1{u}_2\right]\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right][v_1{v}_2{]}^T$

   从已知的$\Sigma$矩阵可以看出，$A$矩阵是非奇异矩阵，因为它没有零奇异值。另外，如果把$\Sigma$矩阵中的$2$改成$-5$，则题目就不再是奇异值分解了，因为奇异值不可能为负；如果将$2$变为$0$，则$A$是奇异矩阵，它的秩为$1$，零空间为$1$维，$v_2$在其零空间中。

4. $A$是正交对称矩阵，那么它的特征值具有什么特点？

   首先，对于对称矩阵，有特征值均为实数；然后是正交矩阵，直觉告诉我们$|\lambda |=1$。来证明一下，对于$Qx=\lambda x$，我们两边同时取模有$\Vert Qx\Vert =|\lambda |\Vert x\Vert$，而正交矩阵不会改变向量长度，所以有$\Vert x\Vert =|\lambda |\Vert x\Vert$，因此$\lambda =\pm 1$。

• $A$是正定的吗？

  答：并不一定，因为特征向量可以取$-1$。

• $A$的特征值没有重复吗？

  答：不是，如果矩阵大于$2$阶则必定有重复特征值，因为只能取$\pm 1$。

• $A$可以被对角化吗？

  答：是的，任何对称矩阵、任何正交矩阵都可以被对角化。

• $A$是非奇异矩阵吗？

答：是的，正交矩阵都是非奇异矩阵。很明显它的特征值都不为零。

证明$P=\frac{1}{2}(A+E)$是投影矩阵。

我们使用投影矩阵的性质验证，首先由于$A$是对称矩阵，则$P$一定是对称矩阵；接下来需要验证$P^2=P$，也就是$\frac{1}{4}\left(A^2+2A+E\right)=\frac{1}{2}(A+E)$。来看看$A^2$是什么，$A$是正交矩阵则$A^T=A^{-1}$，而$A$又是对称矩阵则$A=A^T=A^{-1}$，所以$A^2=I$。带入原式有$\frac{1}{4}(2A+2I)=\frac{1}{2}(A+E)$，得证。

我们可以使用特征值验证，$A$的特征值可以取$\pm 1$，则$A+E$的特征值可以取$0,2$，$\frac{1}{2}(A+E)$的特征值为$0,1$，特征值满足投影矩阵且它又是对称矩阵，得证。