《深入浅出图神经网络》读书笔记（5.图信号处理与图卷积神经网络）

5.图信号处理与图卷积神经网络

5.1 矩阵乘法

5.2 图信号与图的拉普拉斯矩阵

图$G=(V,E)$，共有N个节点，图信号是一种描述$V\to R$的映射，可以表示为向量$x\text{x}x=[x_1,x_2,...,x_N{]}^T$,其中$x_i$表示的是节点$v_i$上的信号强度。

拉普拉斯矩阵:$L=D-A$,D为一个对角矩阵，对角线元素为节点度数，A则是邻接矩阵
$$L\{\begin{array}{l}\text{deg}(v_i),\text{ifi=j}\\ -1,\text{if}{e}_{ij}\in E\\ 0,\text{otherwise}\end{array}$$
可以正则化表示为$L_{\text{sym}}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$,

这是GCN的关键。

考虑拉普拉斯算子，将该算子的作用域退化到离散的二维图像空间，就是边缘检测算子：
$$△f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)$$
矩阵形式如下
KaTeX parse error: Unknown column alignment: 0 at position 23: … \begin{array}{0̲} 0&1&0 \\ 1& -…
具体的扩展可以参考：https://blog.csdn.net/hellocsz/article/details/102485387

拉普拉斯算子可以用来描述中心节点与邻居节点之间的信号的差异：
$$Lx\text{x}x=[...,\sum _{v_j\in N(v_i)}(x_i-x_j),...]$$
二次型：
$$\begin{gathered} {x\text{x}x}^{T}Lx\text{x}x=\sum _{v_i}\sum _{v_j\in N(v_i)}{x}_i(x_i-x_j) \\ =\sum _{e_{ij\in E}}(x_i-x_j{)}^2 \end{gathered}$$
令上式为TV(x)，即图信号的总变差。它是一个标量，将各条边上的差值进行加和，刻画了图信号整体的平滑度。

5.3 图傅里叶变换

显然L是一个实对称矩阵，其可以被正交对角化
$$L=V\Lambda V^T$$

其中V是一个$N\times N$的正交矩阵，且有$V{V}^T=I$.$V=[{v\text{v}v}_1,{v\text{v}v}_2,...,{v\text{v}v}_N]$,表示L的N个特征向量，这些特征向量线性无关。${\lambda }_k$表示第k个特征向量${v\text{v}v}_k$的特征值，升序排列，即${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_N$。

拉普拉斯矩阵的二次型${x\text{x}x}^{T}Lx\text{x}x$显然是大于等于0的，因此拉普拉斯矩阵是一个半正定型矩阵，其所有的特征值均大于等于0.当$x\text{x}x$为全为1的向量时，$Lx\text{x}x=0$，因此拉普拉斯矩阵最小的特征值为0，即${\lambda }_1=0$。

同时对于$L_{sym}$，其特征值有上限${\lambda }_N\le 2$.

图傅里叶变换(GFT):
$${\tilde{x}}_k=\sum _{i=1}^N{V}_{ki}^T{x}_i=<{v\text{v}v}_k,x\text{x}x>$$
特征向量为傅里叶基，${\tilde{x}}_k$是$x\text{x}x$在第k个傅里叶基上的傅里叶系数，傅里叶系数本质上是图信号在傅里叶基上的投影，衡量了图信号与傅里叶基之间的相似度：
$$\widetilde{x\text{x}x}=V^{T}x\text{x}x,\widetilde{x\text{x}x}\in R^N$$
由于V是一个正交矩阵，对上式左乘V，则：$V\widetilde{x\text{x}x}=V{V}^{T}x\text{x}x=x\text{x}x$.因此逆图傅里叶变换(IGFT):
$$\begin{gathered} x_k=\sum _{i=1}^N{V}_{ki}\cdot {\tilde{x}}_i \\ x\text{x}x=\sum _{k=1}^N{\tilde{x}}_k\cdot {v\text{v}v}_k \end{gathered}$$
这表明傅里叶基是一组完备的基向量，任意一个图信号都可以被这组基所表示。

根据上述公式，总变差可改写如下：

总变差是图的所有特征值的线性组合，其权重是对应的傅里叶系数的平方。

总变差是用来刻画图信号的平滑度的，图信号越平滑，其总变差就会越小。所谓图信号的平滑度就是整张图中相邻近的图信号之间的变化程度。总变差大一些，图中的信号变化就会更剧烈。由这个观点，我们是要去寻求总变差最小的图。那么由于各个特征向量彼此正交，且特征值升序排列，因此图信号就应该与${\lambda }_1$对应的特征向量完全重合，此时仅有${x\text{x}x}_1\ne 0$，其它傅里叶系数均为0，$TV({v\text{v}v}_1)={\lambda }_1$.

进一步（需要证明，已有结论），如果要选择一组彼此正交的图信号，使得各自的总变差依次取得最小值，那么这组信号就是${v\text{v}v}_1,{v\text{v}v}_2,...,{v\text{v}v}_N$。

特征值其实是对图信号平滑度的一种梯度刻画，**因此可以将特征值等价于频率。**特征值越低，频率越低，对应的傅里叶基变化得越缓慢，相近节点越一致；特征值越高，频率越高，对应的傅里叶基变化得越剧烈，相近节点越不一致。

定义图信号的能量：
$$E(x\text{x}x)=||x\text{x}x|{|}_2^2=x\text{x}x{x\text{x}x}^T=(V\tilde{x}\text{x~}\tilde{x}{)}^T(V\tilde{x}\text{x~}\tilde{x})={\widetilde{x\text{x}x}}^T\widetilde{x\text{x}x}$$
上式子可知，图信号的能量可以从空域和频域等价。既然频率是特征值，那么傅里叶系数可以等价为图信号在对应频率分量上的幅值。

图信号在低频分量上强度越大，图信号平滑度越高（变化更小）；反之亦然。

傅里叶系数组合在一起称为频谱，是从频域研究图信号的根本。

空域频域对比分析：

5.4 图滤波器

图滤波器：对给定图信号的频谱中各个频率分量的强度进行增强或衰减的操作。假设$H\in R^{N\times N},H:R^N\to R^N$,令输出信号为$y\text{y}y$，则：
$$y\text{y}y=Hx\text{x}x=\sum _{k=1}^N(h({\lambda }_k){\tilde{x}}_k){v\text{v}v}_k$$

推导如下：

比起拉普拉斯矩阵，H仅仅改动了对角矩阵上的值，因此H的形式如下：$H_{ij}=0,如果i\ne j或者e_{ij}\notin E$。$Hx\text{x}x$描述了一种作用在每个节点一阶子图上的变换操作，一般我们称满足上述性质的矩阵H为G的图位移算子，拉普拉斯矩阵和邻接矩阵都是典型的图位移算子。

图滤波器的性质：

1. 线性：$H(x\text{x}x+y\text{y}y)=Hx\text{x}x+Hy\text{y}y$;
2. 滤波操作是顺序无关的：$H_1(H_{2}x\text{x}x)=H_2(H_{1}x\text{x}x)$;
3. 如果$h(\lambda )\ne 0,则该滤波操作是可逆的$。

${\Lambda }_h$为图滤波器H的频率响应矩阵，对应的函数$h(\lambda )$为H的频率响应函数。不同的频率响应函数可以实现不同滤波效果：低通滤波器、高通滤波器、带通滤波器。

实现任意性质的图滤波器，也就是实现任意类型函数曲线的频率响应函数。通过逼近理论，可以用泰勒展开（多项式逼近函数去近似函数）：
$$H=h_0{L}^0+h_1{L}^1+...+h_K{L}^K=\sum _{k=0}^K{h}_k{L}^k$$
其中K是图滤波器H的阶数。对于图滤波器可以从空域和频率两个角度理解。

5.4.1 空域角度

对于$y\text{y}y=Hx\text{x}x={\sum }_{k=0}^K{h}_k{L}^{k}x\text{x}x$，可以设定
$${x\text{x}x}^{(k)}=L^{k}x\text{x}x=L{x\text{x}x}^{(k-1)}$$
则
$$y\text{y}y=\sum _{k=0}^K{h\text{h}h}_k{x\text{x}x}^{(k)}$$
上述式子就将输出信号变成了(K+1)组图信号的线性加权，对于式（5.22），由于L是一个图位移算子，因此，$x^{(k-1)}$到${x\text{x}x}^{(k)}$的变换只需要所有节点的一阶邻居参与计算。

总的来看，${x\text{x}x}^{(k)}$的计算只需要所有节点的k阶邻居参与。我们称这种性质为图滤波器的局部性。

从空域角度来看，滤波操作具有以下性质：

1. 具有局部性，每个节点的输出信号值只需要考虑其K阶子图；
2. 通过K步迭代式的矩阵向量乘法来完成滤波操作。

5.4.2 频域角度

由于$L=V\Lambda V^T$,则：
KaTeX parse error: Unknown column alignment: 0 at position 109: …[ \begin{array}0̲ \sum_{k=0}^Kh_…
通过上式，H的频率响应函数为$\lambda$的K次代数多项式，如果K足够大，我们可以用这种形式去逼近任何一个关于$\lambda$的函数：
$$y\text{y}y=Hx\text{x}x=V(\sum _{k=0}^K{h}_k{\Lambda }^k)V^{T}x\text{x}x$$
过程如下：

1. 通过图傅里叶变换，使用$V^{T}x\text{x}x$将图信号变换到频域空间；
2. 通过${\Lambda }_h={\sum }_{k=0}^K{h}_k{\Lambda }^k$对频率分量的强度进行调节得到$\widetilde{y\text{y}y}$;
3. 通过逆图傅里叶变换，将$V\widetilde{y\text{y}y}反解成图信号y\text{y}y$。

多项式系数${h\text{h}h}_k$构成向量$h\text{h}h$，则H的频率响应矩阵为
KaTeX parse error: Unknown column alignment: 0 at position 99: …[ \begin{array}0̲ 1&\lambda_1&..…
可以反解得到多项式系数：
$$h\text{h}h={\Psi }^{-1}dia{g}^{-1}({\Lambda }_h)$$
$dia{g}^{-1}$表示将对角矩阵变成列向量。

图滤波操作性质总结：

1. 从频域视角能够更清晰地完成对图信号的特定滤波操作；
2. 图滤波器如何设计具有显式的公式指导；
3. 对矩阵特征分解非常耗时，时间复杂度$O(N^3)$，相比空域视角，工程上有局限。

5.5 图卷积神经网络

两组图信号${x\text{x}x}_1、{x\text{x}x}_2$，其图卷积运算如下：
$${x\text{x}x}_1\ast {x\text{x}x}_2=\text{IGFT}(\text{GFT}({x\text{x}x}_1)\odot \text{GFT}({x\text{x}x}_2))$$
$\odot$表示哈达玛积。

与图信号处理中同理，时域中卷积等价于频域中乘法。
$$\begin{gathered} {x\text{x}x}_1\ast {x\text{x}x}_2=V((V^T{x\text{x}x}_1)\odot (V^T{x\text{x}x}_2))=V(\widetilde{{x\text{x}x}_1}\odot (V{x\text{x}x}_2)) \\ =V(diag(\widetilde{{x\text{x}x}_1})(V^T{x\text{x}x}_2)) \\ =(V(diag(\widetilde{{x\text{x}x}_1})V^T){x\text{x}x}_2 \end{gathered}$$
令$H_{\widetilde{{x\text{x}x}_1}}=Vdiag(\widetilde{{x\text{x}x}_1})V^T$，显然H是一个图位移算子，其频率响应矩阵为${x\text{x}x}_1$的频谱，于是可得到
$${x\text{x}x}_1\ast {x\text{x}x}_2=H_{\widetilde{{x\text{x}x}_1}}{x\text{x}x}_2$$
由上可知，两组图信号的图卷积运算总能转化为对应形式的图滤波运算，因此图卷积等价于图滤波。

可以拓展到多维图信号的，设矩阵$X\in R^{N\times d}$，可以看作d组定义在G上的图信号，d为图信号的总通道数。例如$Y=HX$,我们可以理解为图滤波器H对信号矩阵X每个通道的信号分别进行滤波操作。

三个工作：1.对频率相应矩阵进行参数化

KaTeX parse error: Unknown column alignment: 0 at position 35: …t[\begin{array}0̲ \theta_1\\ &\t…

上式的两种理解：

1. 空域角度是引入了一个自适应的图位移算子，通过学习的手段指导该算子的学习，从而完成对输入图信号的针对性变换操作；
2. 频域角度是该层在$X与X^{{}^{\prime }}$之间训练了一个可自适应的图滤波器，图滤波器的频率响应函数怎样，可以通过任务与数据之间的对应关系进行监督学习。

问题：引入学习参数过多，等于图中的节点数。

在真实图数据中，有效信息都隐藏在低频段，因此图滤波器设置N个维度的自由度。

三个工作：2.对多项式参数进行参数化

我们为了拟合任意的频率响应函数，可以将拉普拉斯矩阵的多项式形式转化为一种可学习的形式
$$X^{{}^{\prime }}=\sigma (V(\sum _{k=0}^K{\theta }_k{\Lambda }^k)V^{T}X)=\sigma (Vdiag(\Psi \theta )V^{T}X),\Psi 是范德蒙矩阵$$
学习参数$\theta =[{\theta }_1,...,{\theta }_K]$，K可以控制，一般K远小于N。K越大，拟合的频率响应函数次数越高，可以拟合更复杂的滤波关系。

三个工作：3.设计固定的图滤波器

参数和矩阵特征分解给计算带来了困难，我们直接限制K=1:
$$X^{{}^{\prime }}=\sigma ({\theta }_{0}X+{\theta }_{1}LX)$$
直接令${\theta }_0={\theta }_1=\theta$，
$$X^{{}^{\prime }}=\sigma (\theta (L+I)X)=\sigma (\theta \tilde{L}X)$$
$\theta$是一个标量，相当于对$\tilde{L}$的频率响应函数做了一个尺度变换，尺度变换可以再神经网络模型中被归一化操作替代。

因此可以设置$\theta =1$。

然后就有固定的图滤波器$\tilde{L}$.

为了加强网络学习的稳定性，可以对$\tilde{L}$做归一化处理。令${\tilde{L}}_{sym}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}},\tilde{A}=A+I,{\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$,$\tilde{L}$被叫做重归一化形式的拉普拉斯矩阵，起特征值范围$(-1,1]$，可以防止多层网络优化时出现的梯度消失或爆炸。

增强网络拟合能力，增加参数权重矩阵W对输入图信号进行仿射变换
$$X^{{}^{\prime }}=\sigma ({\tilde{L}}_{sym}XW)$$
这就是GCN layer(图卷积层)，以此为基础堆叠的多层神经网络模型叫做图卷积模型。

图卷积层是对频率响应函数拟合形式上的极大简化。图滤波器退化为${\tilde{L}}_{sym}$，图卷积操作变为${\tilde{L}}_{sym}X$。如果将X由信号矩阵切换到特征矩阵上，那么${\tilde{L}}_{sym}$是一个图位移算子，根据矩阵乘法的行向量视角，${\tilde{L}}_{sym}X$的计算等价于对邻居节点的特征向量进行聚合操作，于是又如下节点层面的公式：(这里的特征向量和特征矩阵理解不是很清楚，但${\tilde{L}}_{sym}$作为图位移算子，相当于对邻居节点的聚合操作可以理解)
$${x\text{x}x}_i=\sigma (\sum _{v_j\in N(v_i)}{\tilde{L}}_{sym}[i,j](W{x}_j))$$
${\tilde{L}}_{sym}$可以用稀疏矩阵表示。

实际任务中的有效性：

1. ${\tilde{L}}_{sym}$本身具有的滤波特性比较符号 真实数据的特有性质（章节6.3详细说明）,能对数据实现高效滤波操作；
2. 虽然GCN是对频率响应函数的线性近似推导出的，但是同其它深度网络模型一样，GCN堆叠多层时仍可以达到高阶多项式形式的频率响应函数的滤波能力。

两种模型：

1. 频域卷积模型：进行矩阵特征分解从而进行图卷积计算的模型；
   x_i=\sigma(\sum_{v_j\in N(v_i)} \tilde L_{sym}i,j)
   $$
   ${\tilde{L}}_{sym}$可以用稀疏矩阵表示。

实际任务中的有效性：

1. ${\tilde{L}}_{sym}$本身具有的滤波特性比较符号 真实数据的特有性质（章节6.3详细说明）,能对数据实现高效滤波操作；
2. 虽然GCN是对频率响应函数的线性近似推导出的，但是同其它深度网络模型一样，GCN堆叠多层时仍可以达到高阶多项式形式的频率响应函数的滤波能力。

两种模型：

1. 频域卷积模型：进行矩阵特征分解从而进行图卷积计算的模型；
2. 空域卷积模型：不需要进行矩阵特征分解进行图卷积计算的模型，工程上具有优越性。