拉普拉斯矩阵特征向量的几个关键性质证明

前言

在读kipf-GCN《Semi-Supervised Classification With Graph Convolutional Networks》的过程中，提到标准化的拉普拉斯矩阵的最大特征值约等于2：${\lambda }_{max}\approx 2$，所有的特征值范围在区间 $[0,2]$ 之间，遂搜索一些资料进行验证，写下此文。

本文部分内容参考了经典书籍的修正及改进版本《Spectral Graph Theory (revised and improved)》，值得一读。

拉普拉斯矩阵

公式

Laplacian矩阵是图的矩阵表示，无向图的Laplacian矩阵：$L=D-A$，其中 $D$ 为度矩阵，$L$ 为邻接矩阵。

性质

可见，Laplacian矩阵是 $n$ 阶实对称矩阵。实对称矩阵具有如下性质：

• 实对称矩阵的特征值都是实数，有 $n$ 个线性独立的特征向量，且特征向量都是实向量；
• 实对称矩阵的不同特征值对应的特征向量是正交的；
• $n$ 阶实对称矩阵必可对角化，且相似对角矩阵上的元素就是它的特征值

证明

性质1：$L$ 的特征向量正交

实对称矩阵不同特征值的特征向量正交。

取 $L$的 任意两个不相等的特征值 ${\lambda }_1,{\lambda }_2$，它们对应的单位特征向量为 $p_1,p_2\in {\mathbb{R}}^n$，有：
$$\begin{array}{rl}& L{p}_1={\lambda }_1{p}_1\\ & L{p}_2={\lambda }_2{p}_2\end{array}$$ $\because$
$$\begin{array}{rl}{p_1}^{T}L{p}_2& ={p_1}^T{L}^T{p}_2\\ & ={(L{p}_1)}^T{p}_2\\ & ={({\lambda }_1{p}_1)}^T{p}_2\\ & ={\lambda }_1{p_1}^T{p}_2(1)\end{array}$$ 又 $\because$
$${p_1}^{T}L{p}_2={p_1}^T(L{p}_2)={p_1}^T{\lambda }_2{p}_2={\lambda }_2{p_1}^T{p}_2(2)$$ $(1)-(2)$可得：
$$({\lambda }_1-{\lambda }_2){p_1}^T{p}_2$$ $\because {\lambda }_1\ne {\lambda }_2$

$\therefore {p_1}^T{p}_2=0$，即 $p_1$ 与 $p_2$ 正交。

$■$

性质2：$L$ 的特征向量组成的矩阵$P$是正交矩阵，有$P^{-1}=P^T$

因为 $P=\left[\begin{array}{c}{p}_1,p_2,\dots ,p_n\end{array}\right]\in {\mathbb{R}}^{n\times n}$ 的每个向量都是正交，所以有：
P T P = [ p 1 T p 1 p 1 T p 2 ⋯ p 1 T p n p 2 T p 1 p 2 T p 2 ⋯ p 2 T p n ⋮ ⋮ ⋮ p n T p 1 p n T p 2 ⋯ p n T p n ] = [ 1 1 ⋱ 1 ] = E P^TP= \begin{bmatrix} p_1^Tp_1 & p_1^Tp_2 & \cdots & p_1^Tp_n \\ p_2^Tp_1 & p_2^Tp_2 & \cdots & p_2^Tp_n \\ \vdots & \vdots & & \vdots \\ p_n^Tp_1 & p_n^Tp_2 & \cdots & p_n^Tp_n \\ \end{bmatrix} = \begin{bmatrix} 1 \\ & 1 & \\ & & \ddots\\ & & &1 \\ \end{bmatrix} = E PTP= ​p1T​p1​p2T​p1​⋮pnT​p1​​p1T​p2​p2T​p2​⋮pnT​p2​​⋯⋯⋯​p1T​pn​p2T​pn​⋮pnT​pn​​ ​= ​1​1​⋱​1​ ​=E 所以有
$$P^{-1}=P^T$$ $■$

代码验证

对于 前言 中的拉普拉斯矩阵，我们通过代码验证它性质2(性质2包括了性质1)。

• 创建拉普拉斯矩阵并求特征向量

import numpy as np
# 创建拉普拉斯矩阵
L = np.array([
  [ 2, -1,  0,  0, -1,  0],
  [-1,  3, -1,  0, -1,  0],
  [ 0, -1,  2, -1,  0,  0],
  [ 0,  0, -1,  3, -1, -1],
  [-1, -1,  0, -1,  3,  0],
  [ 0,  0,  0, -1,  0,  1],
])
# 求特征值和特征向量(vecs_ori是标准化特征向量组成的矩阵)
vals_ori,vecs_ori = np.linalg.eig(L)

• 查看特征值和特征向量

# 保留小数点后3位数便于查看
print(vals_ori.round(3))
"""
[-0.     0.722  1.683  3.     3.705  4.891]
"""
print(vecs_ori.round(3))
"""
[[-0.408 -0.415 -0.505  0.289 -0.567 -0.032]
 [-0.408 -0.309  0.04   0.289  0.658 -0.469]
 [-0.408 -0.069  0.759  0.289 -0.205  0.356]
 [-0.408  0.221  0.201 -0.577 -0.308 -0.562]
 [-0.408 -0.221 -0.201 -0.577  0.308  0.562]
 [-0.408  0.794 -0.294  0.289  0.114  0.144]]
"""

• 验证性质2

print(np.matmul(vecs_ori.T, vecs_ori).round(3))
"""
[[ 1.  0.  0.  0. -0.  0.]
 [ 0.  1. -0. -0. -0.  0.]
 [ 0. -0.  1.  0. -0. -0.]
 [ 0. -0.  0.  1. -0. -0.]
 [-0. -0. -0. -0.  1.  0.]
 [ 0.  0. -0. -0.  0.  1.]]
"""

标准化的拉普拉斯矩阵

公式

在《关于谱图理论-图傅里叶变换-谱卷积等谱图领域知识的理解》的Laplacian矩阵一节中，说了拉普拉斯矩阵的三个主要定义，一种是原始版的 $L=D-A$ ，还有一个叫做 “对称标准化Laplacian矩阵”：
$$L^{sym}=(D^{+}{)}^{\frac{1}{2}}L(D^{+}{)}^{\frac{1}{2}}=I-(D^{+}{)}^{\frac{1}{2}}A(D^{+}{)}^{\frac{1}{2}}$$ 其中，$D^{+}$是 穆尔-彭罗斯逆（M-P逆）。

还有一种标准化拉普拉斯的写法为：$L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$，两者是等价的。因为$D$是满秩矩阵，$D$ 的M-P逆 $D^{+}$ 就是 $D$ 的常规逆，即 $D^{+}=D^{-}$。

下文将对 $L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$ 进行介绍。

性质

性质	拉普拉斯矩阵$L$	标准化拉普拉斯矩阵$L^{norm}$
对称性	$\surd$	$\surd$
半正定	$\surd$	$?$

证明

性质1: 对称性(symmetric)

证明：

邻接矩阵 $A$ 为对称矩阵，度矩阵 $D$ 为对角矩阵，很明显拉普拉斯矩阵 $L=D-A$ 是对称矩阵。

令 D − 1 2 = [ d 1 d 2 ⋱ d n ] D^{-\frac 1 2}= \begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & d_n \\ \end{bmatrix} D−21​= ​d1​​d2​​⋱​dn​​ ​， L = [ l 11 l 12 ⋯ l 1 n l 21 l 22 ⋯ l 2 n ⋮ ⋮ ⋮ l n 1 l n 2 ⋯ l n n ] L = \begin{bmatrix} l_{11} & l_{12} & \cdots & l_{1n} \\ l_{21} & l_{22} & \cdots & l_{2n} \\ \vdots & \vdots & & \vdots \\ l_{n1} & l_{n2} & \cdots & l_{nn} \\ \end{bmatrix} L= ​l11​l21​⋮ln1​​l12​l22​⋮ln2​​⋯⋯⋯​l1n​l2n​⋮lnn​​ ​，则：
L n o r m = D − 1 2 L D − 1 2 = [ d 1 d 2 ⋱ d n ] [ l 11 l 12 ⋯ l 1 n l 21 l 22 ⋯ l 2 n ⋮ ⋮ ⋮ l n 1 l n 2 ⋯ l n n ] [ d 1 d 2 ⋱ d n ] = [ l 11 d 1 l 12 d 1 ⋯ l 1 n d 1 l 21 d 2 l 22 d 2 ⋯ l 2 n d 2 ⋮ ⋮ ⋮ l n 1 d n l n 2 d n ⋯ l n n d n ] [ d 1 d 2 ⋱ d n ] = [ l 11 d 1 d 1 l 12 d 1 d 2 ⋯ l 1 n d 1 d n l 21 d 2 d 1 l 22 d 2 d 2 ⋯ l 2 n d 2 d n ⋮ ⋮ ⋮ l n 1 d n d 1 l n 2 d n d 2 ⋯ l n n d n d n ] \begin{aligned} L^{norm}=D^{-\frac 1 2}LD^{-\frac 1 2} &=\begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & dn \\ \end{bmatrix} \begin{bmatrix} l_{11} & l_{12} & \cdots & l_{1n} \\ l_{21} & l_{22} & \cdots & l_{2n} \\ \vdots & \vdots & & \vdots \\ l_{n1} & l_{n2} & \cdots & l_{nn} \\ \end{bmatrix} \begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & dn \\ \end{bmatrix} \\ &= \begin{bmatrix} l_{11}d_1 & l_{12}d_1 & \cdots & l_{1n}d_1 \\ l_{21}d_2 & l_{22}d_2 & \cdots & l_{2n}d_2 \\ \vdots & \vdots & & \vdots \\ l_{n1}d_n & l_{n2}d_n & \cdots & l_{nn}d_n \\ \end{bmatrix} \begin{bmatrix} d_1 & & & \\ & d_2 & & \\ & & \ddots & \\ & & & dn \\ \end{bmatrix} \\ &= \begin{bmatrix} l_{11}d_1d_1 & l_{12}d_1d_2 & \cdots & l_{1n}d_1d_n \\ l_{21}d_2d_1 & l_{22}d_2d_2 & \cdots & l_{2n}d_2d_n \\ \vdots & \vdots & & \vdots \\ l_{n1}d_nd_1 & l_{n2}d_nd_2 & \cdots & l_{nn}d_nd_n \\ \end{bmatrix} \end{aligned} Lnorm=D−21​LD−21​​= ​d1​​d2​​⋱​dn​ ​ ​l11​l21​⋮ln1​​l12​l22​⋮ln2​​⋯⋯⋯​l1n​l2n​⋮lnn​​ ​ ​d1​​d2​​⋱​dn​ ​= ​l11​d1​l21​d2​⋮ln1​dn​​l12​d1​l22​d2​⋮ln2​dn​​⋯⋯⋯​l1n​d1​l2n​d2​⋮lnn​dn​​ ​ ​d1​​d2​​⋱​dn​ ​= ​l11​d1​d1​l21​d2​d1​⋮ln1​dn​d1​​l12​d1​d2​l22​d2​d2​⋮ln2​dn​d2​​⋯⋯⋯​l1n​d1​dn​l2n​d2​dn​⋮lnn​dn​dn​​ ​​，可见 $L_{ij}^{norm}=l_{ij}{d}_i{d}_j$，$\because$ L是对称矩阵，$l_{ij}=l_{ji}$，$\therefore L^{norm}$ 是对称矩阵。

$\square$

性质2: 半正定(positive-semidefinite)

即 $L^{norm}$ 的所有特征值均为非负（${\lambda }_i\ge 0$ for all $i$）。

证明：

$L$ 是对称且为对角优势矩阵，所以 $L$ 是半正定矩阵。参见wiki百科-iagonally dominant matrix
$\square$

性质3: 特征值范围介于0和2之间

相比于 $L=D-A$ ， $L^{norm}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$ 一开始看起来有点复杂，但 $L^{norm}$ 的的特征值与一般图的其他图不变量有很好的联系，这是其他定义经常无法做到的。这个定义的优点是因为它与谱几何和随机过程中的特征值一致。它的许多性质可以推广到所有的图。

谱理论（Spectral Theory）的一半主要问题在于推导特征值分布的边界。另一半涉及特征值边界的影响和后果以及它们的应用。

其特征值的一个重要结论是：任何图的标准化拉普拉斯矩阵的特征值范围介于0和2之间。

证明请见：标准化拉普拉斯矩阵特征值范围为什么小于等于2?（证明）

代码验证

import numpy as np

def gen_adj(n):
    """创建邻接矩阵"""
    while True:
        A = np.zeros(shape=(n,n))
        for i in range(1,n):
            for j in range(i):
                rand = np.random.rand(1)[0]
                A[i][j]=1 if rand>0.4 else 0
        for i in range(n-1):
            for j in range(i+1,n):
                A[i][j]=A[j][i]
        # 防止孤立的顶点
        if A.sum(0).min()!=0:
            break
    return A

def get_eigval(argL):
    # 求矩阵特征值
    vals_ori,vecs_ori = np.linalg.eig(argL)
    return vals_ori.round(3)


def verify(n):
    """验证特征值范围"""
    A = gen_adj(n)
    D = np.diag(A.sum(0))
    D_norm = np.diag(np.power(A.sum(0), -1/2))

    L = D-A
    L_norm = np.matmul(np.matmul(D_norm,L),D_norm)
    
    res1 = get_eigval(L)
    res2 = get_eigval(L_norm)
    return res1,res2

if __name__=="__main__":
    ## 如果不抛出AssertionError, 则测试通过
    for i in range(1000):
        assert (verify(10)[1]).max()<2

$■$