图的谱图理论

图的谱图理论[Updating]

参考内容

1. 从普通的拉普拉斯算子到图上的拉普拉斯算子L=D-W
2. 论文：《The Emerging Field of Signal Processing on Graphs: Extending High-Dimensional Data Analysis to Networks and Other Irregular Domains》
3. 推荐：如何理解拉普拉斯矩阵的特征值表示频率，拉普拉斯矩阵的特征向量作为基和基底 7，7.1，7.2
4. Courant-Fischer定理、谱图分析和图的分割
5. 拉普拉斯矩阵特征值范围的估算

---

概述

论文《The Emerging Field of Signal Processing on Graphs: Extending High-Dimensional Data Analysis to Networks and Other Irregular Domains》（2013）的主要内容：

• 图的概述（图的普适性、作用、意义等），略去
• 描述如何编码图结构，仿照传统的傅立叶理论基础，定义图上的频谱概念，重点
• 介绍经典的信号处理操作如何迁移到图领域，其中包括滤波器设计、平移变换、调制、下采样。次重
• 由上述经典操作构成的图变换操作，各类小波变换方法survey。（当前水平难以下咽，同时也不作为论文重点内容）
• 总结

目的是加深对图、图信号、图的“频谱”的理解，了解图谱信号的计算方法及处理调制，理解传统傅立叶变换和图谱的关系。

A tutorial overview of the analysis of data on graphs from a signal processing perspective.

权重图与图信号

我们仅关注并讨论无向的有权连通图，非连通图则拆分为多个连通图考虑$\mathcal{G}=\{\mathcal{V},\mathcal{E},\mathbf{W}\}$，其中$|\mathcal{V}|=N$，表示图上有N个节点，$\mathcal{E}、\mathbf{W}$分别为边的集合以及边连接权重矩阵（对称阵）。

• 边$e=(i,j)$，可以通过数据的自然属性构成，也可以认为构造。常用的利用高斯核构造距离的方式如下：
  $${\mathbf{W}}_{\mathbf{i},\mathbf{j}}=\{\begin{array}{rl}exp(-\frac{[dist(i,j){]}^2}{2{\theta }^2}),& ifdist(i,j)<threshold\\ 0,& otherwise\end{array}$$
• 定义图信号$f:\mathcal{V}\to \mathbb{R}，f\in {\mathbb{R}}^N$，向量$f$的第i个元素，表示节点集合中第i的节点的信号值
  

图拉普拉斯

定义未正则化的图拉普拉斯矩阵为$L=D-W$，D是度对角矩阵，W是权重连接矩阵。

• L是一个差分算子，具体表现为，针对任何一个图信号$f\in {\mathbb{R}}^N$:
  $(Lf)(i)={\sum }_{j\in {\mathcal{N}}_i}{W}_{i,j}[f(i)-f(j)]$
• L是实对称矩阵，于是L具有完备的一套正交的特征向量，我们用$u_0,u_1,u_2,\dots ,u_{N-1}$标注，这些特征向量也有对应的一组特征值，特征值我们用${\lambda }_0,{\lambda }_1,{\lambda }_2,\dots ,{\lambda }_{N-1}$标注。我们将特征值从小到大排序使得$0={\lambda }_0\le {\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_{N-1}:={\lambda }_{max}$

Q：为什么${\lambda }_i\ge 0$ ？
A：由于L是半正定矩阵，证明：对于任何非零向量$x\in {\mathbb{R}}^N$，$x^{T}Lx={\sum }_{(i,j)\in \mathcal{E}}{W}_{i,j}[x(i)-x(j){]}^2\ge 0$

Q:为什么${\lambda }_0=0$ ？
A:由于$Lu=\lambda u$，取$u_i=1(fori\in [0,1,\dots ,N-1])$，此时对应特征值为0

为什么选择拉普拉斯，什么是图的傅立叶变换

• 首先解释什么是拉普拉斯算子，数学上拉普拉斯算子是非混合二阶偏导数的和，举例来说对于$y=f(x_1,x_2,...)$，其拉普拉斯算子定义为
  $\Delta ={\sum }_i{\partial }^2/\partial x_i^2$
  考虑单变量函数的离散近似，$\partial f/\partial x\approx f(x+1)-f(x)$，那么${\partial }^{2}f/\partial x^2\approx f^{\prime }(x)-f^{\prime }(x-1)\approx f(x+1)+f(x-1)-2f(x)$
  此处获得结论：拉普拉斯算子计算的是在所有自由度进行扰动后获得的增益的和。
  一维信号有+1，-1两个扰动方向，而对于N个节点的图，其自由度为N，那么拉普拉斯算子作用于信号f 需要满足
  $$(Lf)(i)=\sum _{j\in {\mathcal{N}}_i}{W}_{i,j}[f(i)-f(j)]\Rightarrow L=D-W$$

• 传统傅立叶变换定义为：$\hat{f}(\omega )={\int }_{\mathbb{R}}f(t)e^{-2\pi i\omega t}dt$，其中$e^{-2\pi i\omega t}$是传统傅立叶变换中的基底，同时也可以看成是一维空间中的拉普拉斯算子的特征向量：$$-\Delta (e^{2\pi i\omega t})=-\frac{{\partial }^2}{\partial t^2}{e}^{2\pi i\omega t}=(2\pi \omega {)}^2{e}^{2\pi i\omega t}$$其中我们可以将特征值项看作频率，特征向量项看作基底。那么传统傅立叶变换可以堪称将信号在不同的拉普拉斯特征向量上进行投影。

• 在图上有$$Lu=\lambda u$$我们将特征值$\lambda$看成频率项，特征向量$u$看成基。仿照信号在不同的图拉普拉斯矩阵的特征向量上进行投影定义图上的傅立叶变换为：$$\hat{f}({\lambda }_l)=\sum _{i=0}^{N-1}f(i)u_l^{\ast }(i)$$定义图上的逆傅立叶变换为：$$f(i)=\sum _{l=0}^{N-1}\hat{f}({\lambda }_l)u_l(i)$$

Q: 为什么我们可以将特征向量$u$看成图空间的基?
A: 图空间包含N个节点，自由度为N，恰好拉普拉斯是实对称阵，拥有N个正交且互不相关的特征向量，故可作为图空间的基。

图上的频率

在式子$-\Delta (e^{2\pi i\omega t})=-\frac{{\partial }^2}{\partial t^2}{e}^{2\pi i\omega t}=(2\pi \omega {)}^2{e}^{2\pi i\omega t}$中我们将$(2\pi \omega {)}^2$看成频率项容易理解，那如何理解我们将特征值$\lambda$看成频率项？

首先对于${\lambda }_0=0$，当图谱频率为0时，其对应的基，也就是特征向量（经过归一化）为$u_0=[\frac{1}{\sqrt{N}},\frac{1}{\sqrt{N}},\dots ,\frac{1}{\sqrt{N}}{]}^T$，如此的基可以看成是在图上所有的节点都拥有同样大小的信号值，可以当作是直流分量，类比传统领域内的$\omega =0,f\equiv 1$。

当$\lambda$增大时，随着在节点上的移动信号变化的更加迅速，直觉上可以从式子$Lu=\lambda u,||u||=1$中观察得出

L是差分算子，$Lu$衡量了不同节点与相邻节点的差异性，那么，$u$上相邻节点差异性越大$\Rightarrow$$Lu$越大$\Rightarrow \lambda$越大

频率（信号随节点变化的程度）也可以通过 过零边 的数量表示，类比过零点。定义过零边的集合为：
${\mathcal{Z}}_{\mathcal{G}}(f):=\{e=(i,j)\in \mathcal{E}:f(i)f(j)<0\}$

以一张随机生成的网络结构为例，绘制其频率0、1、50对应的特征向量如下图所示：

过零边的数量和特征频率的关系如下图所示：
（右图为使用经过归一化拉普拉斯矩阵得到的特征值分布）
虽然于传统领域中震荡的波形的频律有所差别，但是也足够说明随着图谱上频率的增大，信号随节点的变化更加迅速。

Q：传统和图谱的频率的不同？
A：传统的频率是连续的，无限的。但是图谱的频率是离散的，有限的。

图的两域

图上的傅立叶变换和逆傅立叶变换为我们提供了两个视角观察图，其一是空域（vertex domain），其二是谱域（spectral domain）。对于空域的信号$g$，记其谱域信号为$\hat{g}$，我们也称这类信号为核（kernel）。以一个谱域上长尾的信号为例（heat kernel）其空域和谱域如下图所示。类似这种数据，也可以通过记录头部傅立叶系数进行存储，实现图数据的压缩存储。

图的离散计算-图结构下的信号光滑度

为了数学上定义图的光滑程度，首先定义图信号在节点i的边导数（edge derivative）：$${\frac{\partial f}{\partial e}|}_i:=\sqrt{W_{i,j}}[f(j)-f(i)]$$接着定义，在节点i处的图梯度（graph gradient）:
$${▽}_{i}f:=\left[{\left\{{\frac{\partial f}{\partial e}|}_i\right\}}_{e\in \mathcal{E}s.t.e=(i,j)forsomej\in \mathcal{V}}\right]$$那么，图信号在i节点的局部方差表示为：$$\Vert {▽}_{i}f\Vert :={\left[\sum _{e=(i,j)\in \mathcal{E}}{\left({\frac{\partial f}{\partial e}|}_i\right)}^2\right]}^{\frac{1}{2}}={\left[\sum _{j\in {\mathcal{N}}_i}{W}_{i,j}[f(i)-f(j){]}^2\right]}^{\frac{1}{2}}$$图信号的局部方差描述了信号在该节点周围的光滑程度。图的全局光滑程度定义为：$$S_p(f):=1/p\sum _{i\in \mathcal{V}}\Vert {▽}_{i}f{\Vert }_2^p$$当取p=2时，$S_2(f)$就是图拉普拉斯二次型（graph Laplacian quadratic form）$$S_2(f)=\sum _{(i,j)\in \mathcal{E}}{W_{i,j}[f(i)-f(j)]}^2=f^{T}Lf$$
谈论图结构数据的信号光滑程度是需要同时考虑图的拓扑信息的。相同的信号在节点相同但是拓扑结构不同的图上，其信号光滑度是不一致的。下图展现了节点相同，信号相同，拓扑结构不同的条件下图与其相应的图谱，其中$f^T{L}_{1}f=0.14,f^T{L}_{2}f=1.31,f^T{L}_{3}f=1.81$。

通过Courant-Fischer定理可以得到：
$${\lambda }_0=min\{f^{T}Lf\}(\Vert f{\Vert }_2=1)$$$${\lambda }_l=min\{f^{T}Lf\}(\Vert f{\Vert }_2=1,f\perp span\{u_0,...,u_{l-1}\})$$
由于$u_l\perp span\{u_0,...,u_{l-1}\}$，故而$${\lambda }_l=min\{u_l^{T}L{u}_l\}(\Vert u_l{\Vert }_2=1)$$
由上式也能看出通过引入光滑程度可以为什么低频特征值对应的特征向量在图上会更加光滑。

证明：
$$f^{T}Lf=f^{T}U\Lambda U^{T}f=z^T\Lambda z$$其中$z=U^{T}f$由于U是正交变换且$\Vert f{\Vert }_2=1$，故$\Vert z{\Vert }_2=1$
若$$f\perp span\{u_0,...,u_{l-1}\}$$则$$z=[0,...,0,u_l^{T}f,u_{l+1}^{T}f,...,u_N^{T}f{]}^T:=[0,...,0,z_l,z_l+1,..,z_N{]}^T$$$$f^{T}Lf=z^T\Lambda z=z_l^2{\lambda }_l+z_{l+1}^2{\lambda }_{l+1}+\cdots +z_N^2{\lambda }_N\ge {\lambda }_l\sum _{i=l}^N{z}_i^2={\lambda }_l$$

其他的图矩阵

除了拉普拉斯矩阵外，归一化的拉普拉斯矩阵$L_{norm}$也是常用的算子，使用归一化的拉普拉斯算子有一个好处，归一化的拉普拉斯矩阵特征值满足：$$0={\hat{\lambda }}_0\le {\hat{\lambda }}_1\le {\hat{\lambda }}_2\le \cdots \le {\hat{\lambda }}_{N-1}\le 2$$

证明
$$L_{norm}=D^{-1/2}L{D}^{-1/2},L{u}_0={\lambda }_0{u}_0=0\Rightarrow D^{1/2}{L}_{norm}(D^{1/2}{u}_0)=0$$故$D^{1/2}{u}_0$对应的特征值为0。注意此时0特征值对应的特征向量不具有常值特性！！
对于实对阵阵A（特征值为$\lambda$），其瑞利熵${\lambda }_{min}\le R=\frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{max}$，利用该性质证明归一化的拉普拉斯矩阵最大特征值不超过2.
归一化的拉普拉斯矩阵的瑞利熵为：$$R=\frac{f^T{D}^{-1/2}L{D}^{-1/2}}{f^{T}f}=\frac{z^{T}Lz}{z^{T}Dz}=\frac{{\sum }_{(i,j)\in \mathcal{E}}{W}_{u,v}(z_u-z_v{)}^2}{{\sum }_v{z}_v^2{d}_v}\le 2\frac{{\sum }_{(i,j)\in \mathcal{E}}{W}_{u,v}(z_u^2+z_v^2)}{{\sum }_v{z}_v^2{d}_v}=2$$取等号，当且仅当图为二部图

除上述两种之外，还有基于随机游走的半归一化拉普拉斯矩阵$L_{semi-norm}=I_N-D^{-1/2}W$
目前，没有明确的在什么条件下选择哪一种算子更加有利，归一化的拉普拉斯算子其特征值有被限制在[0,2]的优势，而拉普拉斯算子有特征值为0时对应的特征向量为常值的优势（有利于设计有关DC信号的滤波器）。

图上滤波

谱域滤波

传统滤波器即在信号的频谱上进行操作，例如放大某些频段的信号或者抑制某些频道的信号，这个在频域上表现为乘积，在时域上则表现为卷积，不过多赘述了。
在图上，也延续相同的做法，即对输入信号$f_{in}$进行傅立叶变换得到其谱表示$\widehat{f_{in}}=U^T{f}_{in}$，滤波器$h$在其频谱上进行放大或抑制得到${\hat{f}}_{out}=h({\hat{f}}_{in})$，最后通过逆傅立叶变换得到最后的输出$f_{out}=U{\hat{f}}_{out}$，矩阵表示如下：$$f_{out}=\hat{h}(L)f_{in}$$$$\hat{h}(L):=Udiag([\hat{h}({\lambda }_0),\dots ,\hat{h}({\lambda }_{N-1})])U^T$$

如设计（低通）滤波器$\hat{h}(\lambda ):=\frac{1}{1+\gamma \lambda }$，并且针对含有噪声的图片建图，建图方法为每个像素点构成一个节点，每个节点和他上下左右和对角线一共八个节点形成边的关联，边的权重选用前文所述的高斯距离核计算（通过像素值之间的距离计算，而不是图片上的空间距离）。将设计的低通滤波器应用在所建图上，效果如下所示（最右）：

可以看出图滤波明显减少了边缘模糊的副作用。

空域滤波

图上的空域滤波可以被一下公式所概括：
$$f_{out}(i)=b_{i,i}{f}_{in}(i)+\sum _{j\in \mathcal{N}(i,K)}{b}_{i,j}{f}_{in}(j)$$其中$\mathcal{N}(i,K)$表示K-hop邻居集合，$b_{i,j}$为一些参数。

空域滤波和频域滤波

空域滤波和频域滤波是可以相互转换的，假设存在一个频域的滤波器满足$$\hat{h}({\lambda }_l)=\sum _{k=0}^K{a}_k{\lambda }_l^k$$我们可以将其转化到空域中表示$$\begin{array}{rl}{f}_{out}(i)& =\sum _{l=0}^{N-1}{\hat{f}}_{in}({\lambda }_l)\hat{h}({\lambda }_l)u_l(i)\\ & =\sum _{j=1}^N{f}_{in}(j)\sum _{k=0}^K{a}_k\sum _{l=0}^{N-1}{\lambda }^k{u}_l^{\ast }(j)u_l(i)\\ & =\sum _{j=1}^N{f}_{in}(j)\sum _{k=0}^K{a}_k(L^k{)}_{i,j}\end{array}$$故，空域中我们只需要满足：$$b_{i,j}:=\sum _{k=d_{\mathcal{G}}(i,j)}^K{a}_k(L^k{)}_{i,j}$$

图上卷积

传统领域的卷积被定义为：$f_{out}(t)=\int f_{in}(\tau )h(t-\tau )d\tau$，而图上很难有$t-\tau$的概念。所以不能直接扩展概念。
但是由于时域上的卷积在频域上是乘积，那么图上，我们也将卷积操作通过谱域解决：
$$(f\ast h)(i):=\sum _{l=0}^{N-1}\hat{f}({\lambda }_l)\hat{h}({\lambda }_l)u_l(i)$$

图上平移

图上很难有$t-\tau$的概念。所以不能直接扩展概念。但是在传统方案中也可以通过卷积操作完成信号的平移。狄利克雷函数（冲激函数$\delta$）可以辅助实现平移：
$$f(t)\ast \delta (t-\tau )=f(t-\tau )$$
所以我们定义一个平移算子$T_n$：
$$(T_{n}g)(i):=\sqrt{N}(g\ast {\delta }_n)(i)=\sqrt{N}\sum _{l=0}^{N-1}\hat{g}({\lambda }_l)u_l^{\ast }(n)u_l(i)$$其中$${\delta }_n(i)=1ifi=nelse0$$

图信号调制与膨胀

在传统领域，时域上给信号乘上一个频率的基（类比载波调制），等价于在频谱上进行平移：
$$(M_{\omega }f)(t):=e^{2\pi i\omega t}f(t)$$$$\widehat{M_{\omega }f}(\xi ):=\hat{f}(\xi -\omega )$$在图上，我们也等价的定义类似的操作，用基与信号在空域相乘：$$(M_{k}g)(i):=\sqrt{N}{u}_k(i)g(i)$$

但是在图上并没有严格的类似于传统中频谱平移的性质，只有当$\hat{g}$集中在0附近的时候（低频为主），$\widehat{M_{k}g}$在集中在频率${\lambda }_k$。

传统上的膨胀表示为：$$(D_{s}f)(t):=\frac{1}{s}f(\frac{t}{s})$$$$(\widehat{D_{s}f})(\xi ):=\hat{f}(s\xi )$$我们同样不能从空域定义膨胀，只能从谱域定义$$(\widehat{D_{s}g})(\lambda ):=\hat{g}(s\lambda )$$

举例来说，定义一个热传播算子(heat diffusion operator) $R=e^{-L}$，该算子作用于图信号$f$上时，表示将信号沿边进行传播，我们可以加入温度系数$\tau$控制信号的传播速率。
$$\begin{array}{rl}{R}^{\tau }f=(e^{-\tau L})f& =U\Lambda U^{T}f\\ & =U(diag(\widehat{D_{\tau }g}))U^{T}f\\ & =f\ast (D_{\tau }g)\end{array}$$其中g仅通过频谱来定义$$\hat{g}({\lambda }_l)=e^{-{\lambda }_l}$$