图信号处理基础------Foundations in Graph Signal Processing

本篇博文意在用例子的形式解释图信号处理基础，目的是记录总结自己的学习过程，有兴趣的读者也可也一起交流。

前言

图是一种包含多种数据属性的不规则结构。然而，传统的图论处理方法都注重分析底层的图结构而不是图上的信号。随着多传感器测量技术的快速发展，数据结构的复杂性相应增加，利用图结构可以很好地分析这类数据。图信号处理是一个信号处理框架，它不仅仅包含图的“顶点、边缘、结构特性”等属性。

相关

在传统信号处理中，信号域是由等时间间隔或由均匀网格上的一组空间测量点确定的。但是，实际的数据可能与时间或空间维无关，它展现出各种形式的的不规则性，例如社交网或互联网。值得注意的是，即使信号是基于定义好的时间/空间域获得的，新的信号关系的引入也可能会产生新的见解，从而增强信号处理。图已经自然全面地分析了问题定义中不规则数据的关系，以及数据分析中相关的数据连通性。

图信号处理例子

所有传感器位置信息和信号信息均存在MNE_Graph.mat和MNE_Signal.mat中。

文件网盘链接：https://pan.baidu.com/s/1oeauTiUpI9gVy6nZCWmv1A
提取码：q1ec

1. 传感器数据

上图一共放置了64个温度传感器，分别用1~64的数字编号，每个传感器收集到的带噪温度信号可以由以下公式表示：$$x(n)=s(n)+\epsilon (n)\text{\hspace{1em}(1.1)}$$其中，$x(n)$是真实的温度，$\epsilon (n)$是噪声信号，服从$N(0,16)$高斯分布。
$${SNR}_{in}=14.2dB\text{\hspace{1em}(1.2)}$$

Matlab代码

clc; clear all; close all;

load MNE_Graph 			% Graph structure
load MNE_Signal 		% Signal on graph, x = x0 + noise

SNRin = 10*log10(sum(x0.^2)/sum((x-x0).^2))	% Calculate the SNRin

%% Output
% 输出 SNRin = 14.2272dB

2. 降低噪声

在经典信号处理中，通过移动平均算子对相邻结点进行平均可以达到降噪的效果。从物理上来说，相邻结点的邻接关系应该考虑距离、高度差及其他地形特性等。

• 图移算子为A时

对于每个结点，积累的温度场（自身和相邻点温度）可以由以下式子表示：
$$y(n)=\sum _{m\text{ at and around }n}x(m)\text{\hspace{1em}(2.1)}$$举个图(a)的例子，
$$y(20)=x(20)+x(19)+x(22)+x(23)\text{\hspace{1em}(2.2)}$$
为了简便，将公式(2.1)简化：
$$y=x+Ax\text{\hspace{1em}(2.3)}$$
其中，A是无向图的邻接矩阵或毗邻矩阵。

• 图移算子为W时

如果不仅仅考虑结点之间的邻接性，而且考虑它们之间的其他关系时，加权矩阵W更适合。
式(2.1)可以写成以下形式：
$$y(n)=x(n)+\sum _{m\ne n}{W}_{nm}x(m)\text{\hspace{1em}(2.4)}$$$W_{nm}$表示两结点之间的耦合程度，其值越大，表示两结点耦合程度越大。
同理，将公式(2.4)简化：$$y=x+Wx\text{\hspace{1em}(2.5)}$$注：$y(n)$除以局部图点的个数才是n点的平均温度。

• 随机游走加权矩阵$D^{-1}W$

为了得到无偏估计，每一个$y(n)$估计中的加权系数加起来应该为1。
$$y=\frac{1}{2}(x+D^{-1}Wx)\text{\hspace{1em}(2.6)}$$用这个简单的归一化一阶系统对加噪信号进行滤波，可以使得$SN{R}_{in}=14.2dB\to SN{R}_{out}=20.2dB$，获得$6dB$的信噪比改进。

Matlab代码

clc; clear all; close all;

load MNE_Graph
load MNE_Signal

D = diag(sum(W));
xf = 0.5*(x+inv(D)*W*x);
SNRin = 10*log10(sum(x0.^2)/sum((x-x0).^2))
SNRout = 10*log10(sum(x0.^2)/sum((xf-x0).^2))

3. 图信号处理系统

在传统信号处理中，系统是一个将输入信号转换为另一个（输出）信号的算子。图信号处理系统是信号处理系统的一个子集。我们这里考虑图移不变系统，也可称为图滤波器。
图上的信号移可以看作是顶点上的信号沿着该顶点的所有边缘移动的过程。移信号$x_{shifted}$可以由以下定义：
$${\mathbf{X}}_{\text{shifted }}=\mathbf{Ax}\text{\hspace{1em}(3.1)}$$
如图($c$)，可以将时域信号画成该图结构，当前信号只与下一时刻信号连接。
举个例子，假设当前信号$x(n)=\delta (n-29)$，则在传统信号处理范畴，移信号$x_{shift}=\delta (n-28)$，是一对一的关系。而在图信号处理范畴，移信号$x_{shift}=\delta (n-27)+\delta (n-28)+\delta (n-51)+\delta (n-59)$，是一对多的关系。

注：在DSP中，$A$指的是入邻接矩阵。

用符号S表示图上的一般移位算子，则$x_{shifted}=Sx$，其中$S$可以为$A$、$W$、$L$。

但是要注意以上的图移算子不满足等距特性，因为移位信号的能量和原始信号的能量不等。

与DSP中的线性时不变系统相似，图信号处理也可以构成线性图移不变系统，它将一个输入图信号变换为另一个(输出)图信号，输出图信号可以写为：
$$\mathbf{y}=h_0{\mathbf{S}}^0\mathbf{x}+h_1{\mathbf{S}}^1\mathbf{x}+\dots +h_{M-1}{\mathbf{S}}^{M-1}\mathbf{x}=\sum _{m=0}^{M-1}{h}_m{S}^m\mathbf{x}\text{\hspace{1em}(3.2)}$$其中，$S^0=I$，$h_0,h_1,...,h_{M-1}$是系统系数。

关于图移算子S的选择

• 邻接矩阵$A$
• 加权矩阵$W$
• 拉普拉斯矩阵$L$
• 对称归一化拉普拉斯矩阵$D^{-1/2}L{D}^{-1/2}$
• 随机游走加权矩阵$D^{-1}W$

在标准的有向非加权DSP路径图情况下，图移算子退化为时移算子，也就是图信号系统的$$\mathbf{y}=\sum _{m=0}^{M-1}{h}_m{\mathbf{S}}^m\mathbf{x}$$退化为标准的有限长脉冲响应滤波器：
$$y(n)=h_{0}x(n)+h_{1}x(n-1)+\cdots +h_{M-1}x(n-M+1)\text{\hspace{1em}(3.3)}$$举个例子，M=3，DSP中的路径图为

$$A=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]，x=\left[\begin{array}{c}x1\\ x2\\ x3\end{array}\right]\text{\hspace{1em}(3.4)}$$
因此有：
$$Ax=\left[\begin{array}{c}x3\\ x1\\ x2\end{array}\right]，A^{2}x=\left[\begin{array}{c}x2\\ x3\\ x1\end{array}\right]\text{\hspace{1em}(3.5)}$$
带入$$\mathbf{y}=\sum _{m=0}^{M-1}{h}_m{\mathbf{A}}^m\mathbf{x}$$可得：
$$y(3)=h_{0}x(3)+h_{1}x(2)+h_{2}x(1)\text{\hspace{1em}(3.6)}$$
推广可得：
$$y(n)=h_{0}x(n)+h_{1}x(n-1)+h_2(n-2)\text{\hspace{1em}(3.7)}$$
即式(3.3)。
一个图信号系统可以方便地由图传递函数$H(S)$定义：
$$\mathbf{y}=H(\mathbf{S})\mathbf{x}\text{\hspace{1em}(3.8)}$$图信号系统特性：
如果满足以下公式，则图信号系统是线性的：
$$H(S)(a_1{x}_1+a_2{x}_2)=a_1{y}_1+a_2{y}_2\text{\hspace{1em}(3.9)}$$
如果满足以下公式，则图信号系统是移不变的：
$$H(S)(Sx)=S(H(S)x)\text{\hspace{1em}(3.10)}$$由(3.3)定义的图信号系统：
$$H(\mathbf{S})=h_0{\mathbf{S}}^0+h_1{\mathbf{S}}^1+\cdots +h_{M-1}{\mathbf{S}}^{M-1}\text{\hspace{1em}(3.11)}$$这个系统是线性移不变的，因为方移矩阵满足$S{S}^m=S^{m}S$。

4. 图傅里叶变换

经典的谱分析是在傅里叶域完成的，图信号的谱分析利用了图移算子$S$的特征谱。
$$\mathbf{S}=\mathbf{U\Lambda }{\mathbf{U}}^{-1}\text{\hspace{1em}(4.1)}$$其中，$U$是特征矩阵，$U$的每一列特征向量$u_k$相互正交，$\mathbf{\Lambda }$是特征值${\lambda }_k$的对角矩阵。
应用：$S=A$通常用作传统信号处理，而$S=L$可用作谱聚类分析。
图信号$x$的图傅里叶变换结果$X$定义如下:
$$X=U^{T}x\text{\hspace{1em}(4.2)}$$$X(k)$是图的谱(也可叫做图频率含量)，${\lambda }_k$是图频率，${\lambda }_k$对应的特征向量$u_k$是图频率分量。而$X(k)$可以看作是信号$x$在$u_k$上的投影，即：
$$X(k)=\sum _{n=1}^{N}x(n)u_k(n)\text{\hspace{1em}(4.3)}$$逆图傅里叶变换可得到：
$$x=UX\text{\hspace{1em}(4.4)}$$或者：
$$x(n)=\sum _{k=1}^{N}X(k)u_k(n)\text{\hspace{1em}(4.5)}$$类比传统傅里叶变换，信号被投影至一组谐波正交基上，$$\mathbf{X}={\mathbf{U}}^{-1}\mathbf{x}$$$U$是谐波基矩阵，其中
$${\mathbf{u}}_k={\left[1,e^{j2\pi (k-1)/N},\dots ,e^{j2\pi (N-1)(k-1)/N}\right]}^T/\sqrt{N}\text{\hspace{1em}(4.6)}$$它对应的特征值${\lambda }_k$很容易得到：
$${\lambda }_k=e^{-j2\pi (k-1)/N}\text{\hspace{1em}(4.7)}$$因此，图傅里叶变换可以理解为一个图信号在图拉普拉斯矩阵的一组正交特征向量基上的分解。

在有向无权圆环图的情况下，图傅里叶变换GFT退化为标准离散傅里叶变换DFT。

还是举个例子：

如上图：
$$A=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]，U=\frac{1}{\sqrt{3}}\left[\begin{array}{ccc}1& 1& 1\\ 1& exp(j\frac{2\pi }{3})& exp(j\frac{4\pi }{3})\\ 1& exp(j\frac{4\pi }{3})& exp(j\frac{8\pi }{3})\end{array}\right]，\mathbf{\Lambda }=\left[\begin{array}{ccc}1& 0& 0\\ 0& exp(j\frac{2\pi }{3})& 0\\ 0& 0& exp(j\frac{4\pi }{3})\end{array}\right]\text{\hspace{1em}(4.8)}$$
很容易可以得到$A=U\Lambda U^{-1}$。

5. 图信号系统的谱域

仍然考虑式(3.2)
$$\mathbf{y}=\sum _{m=0}^{M-1}{h}_m{\mathbf{S}}^m\mathbf{x}\text{\hspace{1em}(5.1)}$$结合$S=U\mathbf{\Lambda }{U}^{-1}$可得：
$$\mathbf{y}=\sum _{m=0}^{M-1}{h}_m\mathbf{U}{\mathbf{\Lambda }}^m{\mathbf{U}}^{-1}\mathbf{x}=\mathbf{U}H(\mathbf{\Lambda }){\mathbf{U}}^{-1}\mathbf{x}\text{\hspace{1em}(5.2)}$$其中，
$$H(\mathbf{\Lambda })=\sum _{m=0}^{M-1}{h}_m{\mathbf{\Lambda }}^m\text{\hspace{1em}(5.3)}$$是图信号系统的传递函数。
又因为$U^{-1}y=H(\mathbf{\Lambda }){\mathbf{U}}^{-1}\mathbf{x}$，所以：
$$Y=H(\mathbf{\Lambda })X\text{\hspace{1em}(5.4)}$$

6. 谱域图滤波器设计

图滤波器就是一个为了改变图信号谱分量而设计的图信号系统。
考虑一个理想的图滤波器传递函数，$G(\mathbf{\Lambda })$。和传统信号处理一样，可以在顶点域或频谱域设计具有此转换函数的图滤波器。

• 频谱域实现

频谱域实现很简单，只需要按照以下几步就行。

1. 计算图信号$x$的图频率含量$X$，$X=U^{-1}x$。
2. 乘以图滤波器传递函数$G(\mathbf{\Lambda })$，$Y=G(\mathbf{\Lambda })X$。
3. 对$Y$进行逆图傅里叶变换，得到输出图信号$y=UY$。

由于这个程序在规模大的图信号上对计算要求很高，考虑在顶点域实现图滤波器设计。

• 顶点域实现

类似经典信号处理的时间域，顶点域实现需要找到系数$h_0,h_1,...,h_{M-1}$，使得$H(\mathbf{\Lambda })$尽可能接近期望的图滤波器$G(\mathbf{\Lambda })$。
$$H(\mathbf{\Lambda })=\sum _{m=0}^{M-1}{h}_m{\mathbf{\Lambda }}^m\text{\hspace{1em}(5.5)}$$则$$H\left({\lambda }_k\right)=h_0+h_1{\lambda }_k^1+\cdots +h_{M-1}{\lambda }_k^{M-1}\text{\hspace{1em}(5.6)}$$这就可得到以下的线性方程：
$$\begin{array}{rl}{h}_0+h_1{\lambda }_1^1+\cdots +h_{M-1}{\lambda }_1^{M-1}& =G\left({\lambda }_1\right)\\ h_0+h_1{\lambda }_2^1+\cdots +h_{M-1}{\lambda }_2^{M-1}& =G\left({\lambda }_2\right)\\ ⋮& \\ h_0+h_1{\lambda }_N^1+\cdots +h_{M-1}{\lambda }_N^{M-1}& =G\left({\lambda }_N\right)\end{array}\text{\hspace{1em}(5.7)}$$简化可得：
$${\mathbf{V}}_{\lambda }\mathbf{h}=\mathbf{g}\text{\hspace{1em}(5.8)}$$其中，$V_{\lambda }$是由特征值${\lambda }_k$构成的范德蒙德矩阵。

实际上，系统阶数M远远小于N，这是一个过定方程，$h$可以通过最小二乘法得到。
$$\hat{\mathbf{h}}={\left({\mathbf{V}}_{\lambda }^T{\mathbf{V}}_{\lambda }\right)}^{-1}{\mathbf{V}}_{\lambda }^T\mathbf{g}\text{\hspace{1em}(5.9)}$$所获得解$\hat{\mathbf{h}}$使得方程的均方误差最小。

考虑一个例子：

假设一个图信号来自前面的64传感器测量，图移算子采用拉普拉斯矩阵。设计一个图滤波器，它的频率响应为$g\left({\lambda }_k\right)=\exp \left(-{\lambda }_k\right)$，利用这个图滤波器滤波图信号。当M=4时，利用matlab程序求得
$$h_0=0.9606,h_1=-0.7453,h_2=0.1936,\text{ and }{h}_3=-0.0162$$

Matlab代码

clc; clear all; close all;  fclose('all');

load 'MNE_Graph';
load 'MNE_Signal';
N = 64;
M = 4;
D = diag(sum(W));
L = D-W;
[u, v] = eig(L);
lambda = diag(v);
exp_lambda = exp(-lambda);			
for i = 1:M
    V(:, i) = lambda.^(i-1);
end
h = inv(V'*V)*V'*exp_lambda

7. 最佳解噪

考虑之前的信号测量，测量的信号$x$由变换缓慢的期望信号$s$和快速变化的干扰$\epsilon$组成。
$$\mathbf{x}=\mathbf{s}+\epsilon \text{\hspace{1em}(7.1)}$$接下来的目的是设计一个图滤波器以抑制信号，假设滤波器输出为$y$。最佳解噪任务可以通过最小化以下代价函数来定义：
$$J(\mathbf{y}\mid \mathbf{x})=\frac{1}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }_2^2+\alpha {\mathbf{y}}^T\mathbf{Ly}\text{\hspace{1em}(7.2)}$$其中，第一项约束使得输出信号尽可能接近输入信号，第二项约束表示输出信号的平滑度，变量$\alpha$用于平衡这两项约束。
通过对代价函数求导来获得最佳解：
$$\frac{\partial J(\mathbf{y}\mid \mathbf{x})}{\partial {\mathbf{y}}^T}=\mathbf{y}-\mathbf{x}+2\alpha \mathbf{Ly}=0\text{\hspace{1em}(7.3)}$$求得一个最佳平滑解噪器：
$$\mathbf{y}=(\mathbf{I}+2\alpha \mathbf{L}{)}^{-1}\mathbf{x}\text{\hspace{1em}(7.4)}$$对应的拉普拉斯谱域形式为：
$$\mathbf{Y}=(\mathbf{I}+2\alpha \mathbf{\Lambda }{)}^{-1}\mathbf{X}\text{\hspace{1em}(7.5)}$$响应的图滤波器传递函数为：
$$H\left({\lambda }_k\right)=\frac{1}{1+2\alpha {\lambda }_k}\text{\hspace{1em}(7.6)}$$由上式可以看到，对于一个小的$\alpha ,H\left({\lambda }_k\right)\approx 1,\mathbf{y}\approx \mathbf{x}$ ，而对于一个大的$\alpha ,H\left({\lambda }_k\right)\approx \delta (k)$ ,$\mathbf{y}\approx$ 常数，迫使输出信号$y$最大限度平滑。$\alpha$=4时，可以使得$SN{R}_{in}=14.2dB\to SN{R}_{out}=26dB$，获得11.8dB的信噪比改进。

Matlab代码

clc; clear all; close all;
load MNE_Graph % Graph data
load MNE_Signal % Signal on a graph

D = diag(sum(W));				% Degree Matrix
L = D-W;						% Laplacian Matrix
[U,Lambda] = eig(L);			% Eigen Decomposition

alpha = 4;
XX = U'*x;
YY = inv(eye(N)+2*alpha*Lambda)*XX;
xf = U*YY;

SNRin = 10*log10(sum(x0.^2)/sum((x-x0).^2))
SNRout = 10*log10(sum(x0.^2)/sum((xf-x0).^2))

参考论文：《Understanding the basis of graph signal processing via an intuitive example-driven approach》，Ljubiša Stankovic .
欢迎转载，表明出处。