图、拉普拉斯矩阵与傅里叶变换

傅里叶变换（Fourier Transform）

空间、基，内积与投影

此处各种概念来自《Linear Algebra Done Right》

$R^3$中的一组基：

$$e_1=[1,0,0{]}^T,e_2=[0,1,0{]}^T,e_3=[0,0,1{]}^T$$

对任意一个向量，比如$[2,3,4{]}^T$，我们可以写成：

$$2e_1+3e_2+4e_3$$

两个向量$v_1=[x_1,y_1,z_1{]}^T,v_2=[x_2,y_2,z_2{]}^T$的内积定义为：

$$<v_1,v_2>=x_1\ast x_2+y_1\ast y_2+z_1\ast z_2$$

为什么内积需要这么定义？具有什么物理意义？实际上出发点很有可能是为了“投影”服务，现在假设需要寻找$v_1$在$v_2$上的投影，很自然的，首先需要在$v_2$上找到一个点，其与$v_1$终点的距离比$v_2$上其他所有点与$v_1$终点的距离都要短，该过程导出一个结论，$v_1$在$v_2$上的投影为：

$$<v_1,v_2>\cdot v_2$$

回顾$R^3$中的基$e_1,e_2,e_3$，任意向量可以表示成在不同基上的投影叠加：

$$v=<v,e_1>\cdot e_1+<v,e_2>\cdot e_2+<v,e_3>\cdot e_3$$

函数空间及其内积

对于$R$上的函数$f:R\to R$，我们把函数看作空间内的一个元素，函数之间定义距离，则函数也可以张成一个空间，比如函数：

$$f(t)=t+2t^3-13t^5$$

我们可以理解为这是函数空间中的一个点，该函数空间的一组基为：

$$e_1=t^0,e_2=t,e_3=t^2,e_4=t^3,e_5=t^4,e_6=t^5$$

那么$f(t)$也可以写成$[0,1,0,2,0,-13{]}^T$，这里我们应该可以联想到，函数张成的空间，应该也存在投影运算，那么首先，实函数上的内积是这么定义的：

$$<f_1,f_2>=\int f_1(t)\cdot f_2(t)dt$$

很自然的$f_1$在$f_2$上的投影为$<f_1,f_2>\cdot f_2$。

傅里叶变换

直观上理解，线性无关的向量组都可以作为基（更进一步是正交），函数空间的基可以有无限多组，使用$e_i=t^{i-1}$并无太多实际意义，更为著名的一组基是$e_{(j)}=e^{j\omega t}$，其中$j$是复数单位，$\omega$是基的编号（或参数），类似$e_i=t^{i-1}$中的$i$，那么对于某函数$f$，在基上的投影为：

$$<f,e_{(j)}>\cdot e_{(j)}=(\int f(t){\bar{e}}_{(j)}dt)\cdot e^{j\omega t}=(\int f(t)e^{-j\omega t}dt)\cdot e^{j\omega t}$$

我们把这个过程称为傅里叶变换（$e^{-j\omega t}$是$e^{j\omega t}$的共轭，来自于复函数上对内积、范数等的定义），把$\int f(t)e^{-j\omega t}dt$记为$F(\omega )$，看上去就是把$f$变换为另一个函数一样，实际上是把$f$投影到各个不同的$F(\omega )$上，把对应的投影强度计算出来。这个过程是可逆的，即是把$f$投影到各个基上后，还可以根据在各个基上的强度，把$f$还原回来：

$$f(t)=\int F(w)\cdot e^{j\omega t}d\omega$$

也即上述的投影叠加。

物理意义

参考《信号与系统》，8.1与8.2节

以上是傅里叶变换的代数部分，现在的问题是，为什么我们需要取$e^{j\omega t}$作为基，这里并没有一个绝对正确的答案，只能说由于物理和工程的发展，我们习惯了使用正弦/余弦函数描述信号，比如音频，我们把音频信号分解为正弦/余弦函数（AM、FM）；比如图像，我们把图像也分解为正弦/余弦函数（JPEG压缩）……

当我们使用正弦/余弦函数描述信号时，除了频率信息，还需要引入相位信息，这也是为什么我们需要使用复函数$e^{j\omega t}$描述。

图上的傅里叶变换

图的相关定义

图的形式化表示如下，首先，图是由顶点与边构成的集合，符号$x\sim y$表示顶点$x$与顶点$y$之间存在边：

$$G=G(V,E)$$

$$V=\{x_i{\}}_{i=1}^N,|V|=N<\infty$$

$$E=\{(x,y):x,y\in V\&x\sim y\}$$

其次，图上的函数定义如下：

$$f:V\to \mathbb{C}$$

由于$|V|=N<\infty$，$f$可以看作一个${\mathbb{C}}^N$上的向量（与实函数一样）。

最后，我们一般用矩阵描述图的性质。

图上的傅里叶变换

《Expedition in Data and Harmonic Analysis on Graphs》
《Fourier Analysis on Graph》
《Graph Signal Processing: An Introductory Overview》

单纯从数学角度出发，既然已经有了函数的定义，则一定可以用某种方法把函数分解成多个函数的线性组合，唯独缺的就是一组基。

回顾傅里叶变换，有几个要素：基、正交、投影、还原，从通信的物理意义角度，我们从正弦/余弦函数导出了基于$e^{j\omega t}$的傅里叶变换，那么从图的物理意义角度，我们自然需要从拉普拉斯矩阵导出图上的函数的基。

图的拉普拉斯矩阵定义如下：

$$\begin{gathered} L=D-A \\ D=diag(d_x) \\ A(i,j)=\{\begin{array}{l}1,if{x}_i\sim x_j\\ 0,otherwise\end{array} \end{gathered}$$

暂时不考虑拉普拉斯矩阵的物理意义，其特征值为：

$${\lambda }_0\le {\lambda }_1\le \cdots \le {\lambda }_{N-1}$$

对应的特征向量为：

$${\psi }_0,{\psi }_1,\cdots ,{\psi }_{N-1}$$

由于特征向量是正交的，我们可以使用特征向量作为函数分解的一组基，函数$f$在其中一个基${\psi }_k$上的投影为（即是向量内积）：

$$\begin{gathered} \hat{f}({\lambda }_k)=<f,{\psi }_k>=\sum _{n=1}^{N}f(n){\psi }_k^{\ast }(n) \\ \hat{f}={\varphi }^{\ast }f \end{gathered}$$

那么$f$可按特征向量（函数）进行分解还原：

$$\begin{gathered} f=\sum _{k=0}^{N-1}\hat{f}({\lambda }_k){\psi }_k \\ f=\varphi \hat{f} \end{gathered}$$

其中$\varphi$是特征向量（列向量）排列成的矩阵，${\varphi }^{\ast }$是$\varphi$的共轭转置。

在$f,g\in L^2(\mathbb{R})$上，卷积的定义为：

$$(f\ast g)(t)={\int }_{\mathbb{R}}f(u)g(t-u)du$$

但该定义很难推广到$G$上，因此使用了卷积定理：

$$(f\ast g)(\xi )=\hat{f}(\xi )\hat{g}(\xi )$$

经过逆变换得到$G$上卷积的定义：

$$(f\ast g)(n)=\sum _{i=0}^{N-1}\hat{f}({\lambda }_i)\hat{g}({\lambda }_i){\psi }_i(n)$$

至此，参考图像的卷积方法，我们已经可以把图卷积应用在神经网络了，如一个标准的图卷积层：

《Graph Convolutional Networks for Text Classification》
《Semi-Supervised Classification with Graph Convolutional Networks》
《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》

$$\begin{gathered} L^{(j+1)}=\rho \left(\tilde{A}{L}^{(j)}{W}_j\right) \\ \tilde{A}=D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}} \end{gathered}$$

在这里，$L^{(j)}$相当于$f$，$W_j$相当于$g$……

物理意义

剩下的问题是，为什么要使用Laplacian的特征向量作为函数分解的基。在图上允许定义不同的映射，考虑怎样的映射才算是最好的，我们把这个过程称为“嵌入”（embedding），在一维的情况下，即$f:V\to \mathbb{R}$，我们用“平滑度”（smoothness）衡量一个嵌入的好与坏。

最优情况下，应该使以下目标函数最小化：

$$\sum _{\{i,j\}\in E}(f(i)-f(j){)}^2$$

(想象热量扩散的场景，空间中某一点的热量直接受作用于相邻的点，最终的平衡状态下，相邻点的热量差总是达到最小值)

而该最优化过程与拉普拉斯矩阵有如下关系：

$$\begin{array}{rcl}\sum _{\{i,j\}\in E}(f(i)-f(j){)}^2& =& \sum _{\{i,j\}\in E}(f(i{)}^2+f(j{)}^2-2f(i)f(j))\\ & =& \sum _{\{i,j\}\in E}-2f(i)f(j)+\sum _i{d}_{i}f(i{)}^2\\ & =& \sum _{i\ne j,i\sim j}-f(i)f(j)+\sum _i{d}_{i}f(i{)}^2\\ & =& \sum _{i,j}{l}_{i,j}f(i)f(j)\\ & =& \sum _{i}f(i)(\sum _j{l}_{i,j}f(j))\\ & =& f^{T}Lf\end{array}$$

根据Raleigh-Ritz定理，上述目标函数的最小值为$L$的最小特征值，$f$的取值是最小特征值对应的特征向量，且有：

$$\begin{gathered} {\lambda }_1=\min \frac{f^{T}Lf}{f^{T}f} \\ {\lambda }_k=\underset{f\perp span\{v_1,v_2,\dots ,v_{k-1}\}}{\min }\frac{f^{T}Lf}{f^{T}f};k=2,\dots ,n \end{gathered}$$

以道路网络为例，可以对不同特征向量进行可视化，观察不同的基实际上表达了什么关系（频率）信息：

代数连通性相关理论参考《Algebraic Connectivity of Graphs, with Applications》
实际操作参考《AIMS CDT Signal Processing Lab Session 2 Graph signal processing》