谱图理论(spectral graph theory)

如何理解特征值和特征向量

此部分参考了马同学的文章：如何理解矩阵特征值和特征向量？

我们知道一个矩阵可以看做是线性变换又或者是某种运动，可以将一个向量进行旋转，平移等等操作，正常来说，对于一个向量$v$，并对其乘上一个A会出现下图的情况：

可以看到乘了A之后v发生了一些旋转。然而所有向量中存在一种稳定的向量，他不会发生旋转，平移，只会使得向量变长或变短，而这种稳定的向量正是矩阵的特征向量,即满足公式：
$$Av=\lambda v$$
这里$\lambda$决定了向量到底是伸长还是缩短

特征向量描述运动的方向

此外特征向量一个非常重要的特质是他描述了运动的方向，如果我们对一个向量持续地去乘以A会发生什么？我们发现，经过不断的运动，变换后的向量会收敛到特征值最大的特征向量上：

为什么会这样呢？不妨假设现在有一个n维向量v：
$$v=(v_1,v_2,\dots ,v_n)$$
于是我们不停地乘以W
$$\begin{array}{rl}Wv& =\left(\sum _{i=1}^n{w}_{1,i}{v}_i,\sum _{i=1}^n{W}_{2,i}{v}_i,\dots ,\sum _{i=1}^n{W}_{n,i}{v}_i\right)\\ W^{2}v& =\left(\sum _{i,j=1}^n{w}_{1,j}{W}_{j,i}{v}_i,\dots ,\sum _{i,j=1}^n{W}_{n,j}{W}_{j,i}{v}_i\right)\end{array}$$
好像除了变得很复杂以外，并没有看出什么东西，但是如果我们用一组特征向量u来表达向量v，因为特征向量是相互正交的基，因此向量v可以由特征向量u的线性组合表示：
$$v={\alpha }_1{u}_1+{\alpha }_2{u}_2+\cdots +{\alpha }_n{u}_n$$
接下来由于特征向量的稳定性，我们发现向量v的变化其实是这样的：
$$\begin{array}{rl}Wv& ={\mu }_1{\alpha }_1{u}_1+{\mu }_2{\alpha }_2{u}_2+\cdots +{\mu }_n{\alpha }_n{u}_n\\ W^{2}v& ={\mu }_1^2{\alpha }_1{u}_1+{\mu }_2^2{\alpha }_2{u}_2+\cdots +{\mu }_n^2{\alpha }_n{u}_n\\ W^{k}v& ={\mu }_1^k{\alpha }_1{u}_1+{\mu }_2^k{\alpha }_2{u}_2+\cdots +{\mu }_n^k{\alpha }_n{u}_n\end{array}$$
这个变化告诉我们，随着k趋于无穷，特征值最大的特征向量将会主宰其余的特征向量，从而v与特征值最大的u变成同一个方向！此外，通过这样的变换，我们甚至能够知道v的运动过程其实是由各个不同大小的特征值与特征向量控制的。

谱图理论

当矩阵变成了一副图的邻接矩阵的时候，事情就变得很有趣的。此时，这样的矩阵描述了一种在图上的类似于热力扩散的运动，diffusion。同样的，该矩阵的特征值刻画了这样的运动轨迹。

如果我们设W是一个实对称矩阵并且满足

• $W_{ii}=0$
• $W_{ij}=1$，i,j有边
• $W_{ij}=0$，i,j没有边
  并且我们定义一下图上每个结点的初始温度为$\mathbf{v}=v_1,v_2,...,v_n$，于是经过“运动”后第i个结点的温度会变成下面这样：
  $$(Wv{)}_i=\sum _{j:\{i,j\}\in E}{v}_j$$
  我们发现他就是用所有邻居的温度的平均值来更新当前第i个结点的温度。可以预想的是，一直持续下去，所有结点的温度都会相等，而这个稳定的温度，显然是正比于特征值最大的特征向量（上一章的内容）。

Laplacian Matrix

为了更好研究，接下来我们引入一种性质更有趣的矩阵，叫做拉普拉斯矩阵，他的定义为$L=D-W$

我们一般会对其标准化从而得到$L=I-D^{-1/2}W{D}^{-1/2}$，假设A是标准化后的邻接矩阵$A=D^{-1/2}W{D}^{-1/2}$，那么

• $A_{ii}=0$
• $A_{ij}=1/d$，i,j有边
• $A_{ij}=0$，i,j没有边
  且
  $$(Av{)}_i=\frac{1}{d}\sum _{j:\{i,j\}\in E}{v}_j$$
  拉普拉斯矩阵，不同于邻接矩阵在描述运动的轨迹，laplace矩阵描述的是运动的位移或者变化量。可以对比一下以下两式：

$$\begin{gathered} (Av{)}_i=\frac{1}{d}\sum _{j:\{i,j\}\in E}{v}_j \\ (Lv{)}_i=v_i-\frac{1}{d}\sum _{j:\{i,j\}\in E}{v}_j \end{gathered}$$

显然我们得到是第i个结点的变化量，又因为这个乘积可以表示为：

$$\begin{array}{rl}Lv& ={\mu }_1{\alpha }_1{u}_1+{\mu }_2{\alpha }_2{u}_2+\cdots +{\mu }_n{\alpha }_n{u}_n\\ L^{2}v& ={\mu }_1^2{\alpha }_1{u}_1+{\mu }_2^2{\alpha }_2{u}_2+\cdots +{\mu }_n^2{\alpha }_n{u}_n\\ L^{k}v& ={\mu }_1^k{\alpha }_1{u}_1+{\mu }_2^k{\alpha }_2{u}_2+\cdots +{\mu }_n^k{\alpha }_n{u}_n\end{array}$$

于是，L的特征值描述了变化量的强度。事实上，这只是特征值的冰山一角，特征值描述的信息比你想象中更多，接来下，我们介绍一下，特征值与图的的另一种联系

Variational Characterization of Eigenvalues

定理: 设$M\in {\mathbb{R}}^{n\times n}$是对称矩阵，以及M的特征值${\lambda }_1⩽{\lambda }_2⩽...{\lambda }_n$，于是

$${\lambda }_k=\underset{k-\dim V}{\min }\underset{\mathbf{x}\in V-\{0\}}{\max }\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$$

其中$\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$称为x在M中的Rayleigh quotient，并记为$R_M(\mathbf{x})$.

证明：

设${\mathbf{v}}_1,...,{\mathbf{v}}_n$为相互正交的特征向量，考虑由向量${\mathbf{v}}_1,...,{\mathbf{v}}_k$组成的k维张成空间。对任意该空间的向量都有$\mathbf{x}=\sum _{i=1}^k{a}_i{\mathbf{v}}_i$,于是Rayleigh quotient的分子${\mathbf{x}}^{T}M\mathbf{x}$为

$$\sum _{i=1}^k\sum _{j=1}^k{a}_i{a}_j{\mathbf{v}}_i^{T}M{\mathbf{v}}_j=\sum _{i=1}^k\sum _{j=1}^k{a}_i{a}_j{\lambda }_j{\mathbf{v}}_i^T{\mathbf{v}}_j=\sum _{i=1}^k{\lambda }_i{a}_i^2\le {\lambda }_k\cdot \sum _{i=1}^k{a}_i^2$$

该不等式是因为${\lambda }_k$是1到k中最大的特征值。而其分母${\mathbf{x}}^T\mathbf{x}=\sum _{i=1}^k\sum _{j=1}^k{a}_i{a}_j{\mathbf{v}}_i^T{\mathbf{v}}_j=\sum _{i=1}^k{a}_i^2$,因此

$$\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}⩽\frac{{\lambda }_k\cdot {\sum }_{i=1}^k{a}_i^2}{{\sum }_{i=1}^k{a}_i^2}={\lambda }_k$$

这意味着${\lambda }_k$恰好对应着在k个维度的时候的最大值（x不等于0），因此

$${\lambda }_k\ge \underset{k-\dim V}{\min }\underset{\mathbf{x}\in V-\{0\}}{\max }\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$$

接下来我们将证明V里面一定存在向量使得Rayleigh quotient$⩾{\lambda }_k$，令S为${\mathbf{v}}_k,...,{\mathbf{v}}_n$张成的空间，这里S的维度为n-k+1，那么在V和S中，一定存在一个共享的向量x(因为它们共享第k个特征向量)，令该向量的表达为$\mathbf{x}=\sum _{i=k}^n{a}_i{\mathbf{v}}_i$,此时，因为${\lambda }_k$是最小的特征值，因此

$$\sum _{i=k}^n{\lambda }_i{a}_i^2⩾{\lambda }_k\cdot \sum _{i=1}^k{a}_i^2$$

于是

$$\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}⩾\frac{{\lambda }_k\cdot {\sum }_{i=k}^n{a}_i^2}{{\sum }_{i=k}^n{a}_i^2}={\lambda }_k$$

因此

$${\lambda }_k=\underset{k-\dim V}{\min }\underset{\mathbf{x}\in V-\{0\}}{\max }\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$$
证毕。

这个定理非常神奇且重要，他告诉我们，当x的取值在一个由K个特征向量张成的子空间中，$\frac{{\mathbf{x}}^{T}M\mathbf{x}}{{\mathbf{x}}^T\mathbf{x}}$的最大值恰好等于特征值。而如果你看过谱聚类（详细可看图卷积神经网络(Graph Convolutional Network, GCN)），当M等于标准化的laplace矩阵L时，即$L=I-\frac{1}{d}A$，你会知道如果设$x\in \{0,1{\}}^V$，（用1表示A类结点，用0表示B类结点），那么这A,B两类结点把他切割开，于是${\mathbf{x}}^{T}M\mathbf{x}$就表示切割开A,B图所经过的边数，因为
$${\mathbf{x}}^{T}L\mathbf{x}=\frac{1}{d}\sum _{\{u,v\}\in E}(x_u-x_v{)}^2$$
于是：
$${\lambda }_k=\underset{Sk-\text{ dimensional subspace of }{\mathbb{R}}^n}{\min }\underset{\mathbf{x}\in S-\{0\}}{\max }\frac{{\sum }_{\{u,v\}\in E}(x_u-x_v{)}^2}{d{\sum }_v{x}_v^2}$$
那么如果${\lambda }_k$等于0，想象一下，切割的边为0个是什么场景，显然就是一个独立的连通区域才能使得切割的边数量为0。在公式中，意味着，存在在所有k维的S空间中最小的x的最大值，使得$\mathbf{x}\in S$，只要$\{u,v\}\in E$都有$x_u=x_v$，这意味着他们都属于同一类别，也就是说，他们都在一个连通区域内,在这个区域内，所有结点的$x_v$都相等。因此，laplace矩阵特征值为0的个数就是连通区域的个数。

此外，在真实场景中可能不存在特征值为0的孤岛（因为每个人或多或少都会跟人有联系），但是当特征值很小的时候，也能反应出某种“孤岛”，或者称为，bottleneck，这种bottleneck显然是由第二小的特征值决定的（因为特征值为0就是真正孤岛，但第二小就是有一点点边，但还是连通的），因此，很多发现社交社群的算法都会或多或少利用利用这一点，因为不同的社群肯定是内部大量边，但是社群之间的边很少，从而形成bottlenect。

关于这个bottleneck的一个应用就是图像分割，Normalized Cuts and Image Segmentation,

比如说一图图片：

我们希望把婴儿分割出来，于是我们假设像素之间形成一个图，像素之间的相似性是边的权重，

然后我们计算相似性

最后我们发现，第二个特征向量恰好就是对应着这个切分区域

我们可以总结一下laplace矩阵的性质：

定理: 设G为无向图，A为G的邻接矩阵，令$L=I-\frac{1}{d}A$为图G的标准化的laplace矩阵。设${\lambda }_1⩽{\lambda }_2⩽...{\lambda }_n$，为L的特征值，大小按照递增排列，则：

1. ${\lambda }_1=0$ 且 ${\lambda }_n⩽2$
2. ${\lambda }_k=0$ 当且仅当G至少k个连通区域（这意味着特征值为0的数量对应着连通区域的数量）。
3. ${\lambda }_n=2$ 当且仅当至少有一个连通域是二分图。

显然，当k=1时，满足
$${\lambda }_1=\underset{\mathbf{x}\in R^n-\{0\}}{\min }\frac{{\sum }_{\{u,v\}\in E}(x_u-x_v{)}^2}{d{\sum }_v{x}_v^2}$$
首先，显然${\lambda }_1⩾0$,因为他们都是平方，其次，如果x是全1向量时等于0，从而最小值就是0，于是${\lambda }_1=0$。
而当k=n时，
$${\lambda }_n=\underset{\mathbf{x}\in R^n-\{0\}}{\max }\frac{{\sum }_{\{u,v\}\in E}(x_u-x_v{)}^2}{d{\sum }_v{x}_v^2}$$
首先我们观察到：
$$\begin{array}{l}2{\mathbf{x}}^T\mathbf{x}-{\mathbf{x}}^{T}L\mathbf{x}=\frac{1}{d}{\sum }_{\{u,v\}\in E}(x_u+x_v{)}^2\end{array}$$
注意括号里面是加号，不是减号，于是${\mathbf{x}}^{T}L\mathbf{x}=2\sum _v{x}_v^2-\frac{1}{d}\sum _{\{u,v\}\in E}(x_u+x_v{)}^2$
$${\lambda }_n=2-\underset{\mathbf{x}\in {\mathbb{R}}^n-\{0\}}{\min }\frac{{\sum }_{\{u,v\}\in E}(x_u+x_v{)}^2}{d{\sum }_v{x}_v^2}$$
显然${\lambda }_n⩽2$,等号成立的条件为，存在非零的x，使得$\sum _{\{u,v\}\in E}(x_u+x_v{)}^2=0$，这意味着，$x_u=-x_v,\forall \{u,v\}\in E$. 而这正是一个二分图因为所有的边，$x_u$和$x_v$都不一样，也就是他们所属的类别都不同，而同类别之间的边又不存在，这就是一个二分图了。

参考资料

如何理解矩阵特征值和特征向量？

Lecture Notes on Graph Partitioning , Expanders and Spectral Methods

The Unreasonable Effectiveness of Spectral Graph Theory

Spectral graph theory and its applications