标准化拉普拉斯矩阵特征值范围为什么小于等于2?（证明）

0. 前言

这是图神经网络为什么使用标准化拉普拉斯矩阵的原因之一。

1. 正文

设标准化邻接矩阵 $A^{norm}$ 的特征值为 ${\alpha }_1\le {\alpha }_2\le \cdots \le {\alpha }_n$；标准化拉普拉斯矩阵 $L^{norm}$ 的特征值为${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$。有：

$$-1\le {\alpha }_1\le {\alpha }_2\le \cdots \le {\alpha }_n\le 1$$ $$0\le {\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n\le 2$$

编号	推论	目的
1.1	标准化拉普拉斯是非满秩矩阵	标准化拉普拉斯矩阵至少有一个特征值为0
1.2	标准化拉普拉斯矩阵是半正定矩阵	标准化拉普拉斯矩阵所有特征值非负

1.1 标准化拉普拉斯是非满秩矩阵

1.1.1 拉普拉斯是非满秩矩阵

首先，证明拉普拉斯矩阵 $L$ 是非满秩矩阵：

令 $D=\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & dn\end{array}\right]$，$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$，则：

$$\begin{array}{r}|L|=|D-A|=\left|\begin{array}{cccc}{d}_1-a_{11}& -a_{12}& \cdots & -a_{1n}\\ -a_{21}& d_2-a_{22}& \cdots & -a_{2n}\\ ⋮& ⋮& & ⋮\\ -a_{n1}& -a_{n2}& \cdots & d-a_{nn}\end{array}\right|\end{array}\text{\hspace{1em}(1)}$$，将第2~n行分别加到第一行，可得第一行的元素为：
$$[d_1+\sum _{i=1}^n(-a_{i1}),d_2+\sum _{i=1}^n(-a_{i2}),...,d_n+\sum _{i=1}^n(-a_{in})]\text{\hspace{1em}(2)}$$，因为度矩阵对角线元素是邻接矩阵对应行（列）的和，因此有：
$$d_1=\sum _{i=1}^n(a_{i1}),d_2=\sum _{i=1}^n(a_{i2}),...,d_n=\sum _{i=1}^n(a_{in})$$，所以 $(2)$ 的元素全为0，即$|L|=0$。

1.1.2 标准化拉普拉斯是非满秩矩阵

其次，证明标准化拉普拉斯矩阵 $L^{norm}$ 是非满秩矩阵：

$\because |L^{norm}|=|D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}|=|D^{-\frac{1}{2}}||L||D^{-\frac{1}{2}}|$,      $|L|=0$
$\therefore |L^{norm}|=0$

1.1.3 拉普拉斯矩阵及标准化拉普拉斯矩阵特征值与特征向量之间的关系

上一节我们知道，拉普拉斯矩阵 $L$ 和标准化拉普拉斯矩阵 $L^{norm}$ 都是非满秩矩阵，都有至少一个特征值为 0。设 $e$ 是 $L$ 的一个对应于特征值 0 的特征向量，有 $Le=0$。因为：

$L^{norm}{D}^{\frac{1}{2}}e=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}{D}^{\frac{1}{2}}e=D^{-\frac{1}{2}}(Le)=0$

所以$D^{\frac{1}{2}}e$ 是 $L^{norm}$ 的一个对应于特征值 0 的特征向量。

1.2 标准化拉普拉斯矩阵是半正定矩阵

1.2.1 标准化邻接矩阵的二次型化简

设 $A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right],D=\left[\begin{array}{cccc}{d}_1& & & \\ & d_2& & \\ & & \ddots & \\ & & & d_n\end{array}\right]$，则$D^{-\frac{1}{2}}=\left[\begin{array}{cccc}\frac{1}{\sqrt{d_1}}& & & \\ & \frac{1}{\sqrt{d_2}}& & \\ & & \ddots & \\ & & & \frac{1}{\sqrt{d_n}}\end{array}\right]$

$$\text{标准化邻接矩阵}{A}^{norm}=D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=\left[\begin{array}{cccc}\frac{a_{11}}{\sqrt{d_1{d}_1}}& \frac{a_{12}}{\sqrt{d_2{d}_1}}& \cdots & \frac{a_{1n}}{\sqrt{d_2{d}_n}}\\ \frac{a_{21}}{\sqrt{d_2{d}_1}}& \frac{a_{22}}{\sqrt{d_2{d}_2}}& \cdots & \frac{a_{2n}}{\sqrt{d_2{d}_n}}\\ ⋮& ⋮& & ⋮\\ \frac{a_{n1}}{\sqrt{d_n{d}_1}}& \frac{a_{n1}}{\sqrt{d_n{d}_1}}& \cdots & \frac{a_{nn}}{\sqrt{d_n{d}_n}}\end{array}\right]$$，令$\mathbf{x}=[x_1,x_2,\cdots ,x_n{]}^T$，则：
$$\begin{array}{rl}{\mathbf{x}}^T{A}^{norm}\mathbf{x}& =[x_1,x_2,\cdots ,x_n]\left[\begin{array}{cccc}\frac{a_{11}}{\sqrt{d_1{d}_1}}& \frac{a_{12}}{\sqrt{d_2{d}_1}}& \cdots & \frac{a_{1n}}{\sqrt{d_2{d}_n}}\\ \frac{a_{21}}{\sqrt{d_2{d}_1}}& \frac{a_{22}}{\sqrt{d_2{d}_2}}& \cdots & \frac{a_{2n}}{\sqrt{d_2{d}_n}}\\ ⋮& ⋮& & ⋮\\ \frac{a_{n1}}{\sqrt{d_n{d}_1}}& \frac{a_{n1}}{\sqrt{d_n{d}_1}}& \cdots & \frac{a_{nn}}{\sqrt{d_n{d}_n}}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\\ & =\left[\begin{array}{c}{\sum }_i^n\frac{x_i{a}_{i1}}{\sqrt{d_i{d}_1}},{\sum }_i^n\frac{x_i{a}_{i2}}{\sqrt{d_i{d}_2}},\cdots ,{\sum }_i^n\frac{x_i{a}_{in}}{\sqrt{d_i{d}_n}}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]\\ & =\sum _i^n\frac{x_i{x}_1{a}_{i1}}{\sqrt{d_i{d}_1}}+\sum _i^n\frac{x_i{x}_2{a}_{i2}}{\sqrt{d_i{d}_2}}+\cdots +\sum _i^n\frac{x_i{x}_n{a}_{in}}{\sqrt{d_i{d}_n}}\\ & =\sum _{i,j}^n\frac{x_i{x}_j{a}_{ij}}{\sqrt{d_i{d}_j}}\\ & =\sum _{(i,j)\in E}\frac{2x_i{x}_j{a}_{ij}}{\sqrt{d_i{d}_j}}(因为a_{ij}=a_{ji},所以有个2;a_{ij}\in \{0,1\},所以可以消去.)\end{array}$$，其中 $E$ 为边的集合。

1.2.2 标准化拉普拉斯矩阵是半正定矩阵的证明

对 $\forall \mathbf{x}\in {\mathbb{R}}^n$，$L^{norm}$的二次型为：
$$\begin{array}{rl}{\mathbf{x}}^T{L}^{norm}\mathbf{x}& ={\mathbf{x}}^T(I-A^{norm})\mathbf{x}\\ & =\sum _{i\in V}{x}_i^2-\sum _{(i,j)\in E}\frac{2x_i{x}_j}{\sqrt{d_i{d}_j}}\\ & =\sum _{(i,j)\in E}(\frac{x_i^2}{d_i}+\frac{x_j^2}{d_j})-\sum _{(i,j)\in E}\frac{2x_i{x}_j}{\sqrt{d_i{d}_j}}\\ & =\sum _{(i,j)\in E}(\frac{x_i}{\sqrt{d_i}}-\frac{x_j}{\sqrt{d_j}}{)}^2\\ & \ge 0\end{array}$$，根据半正定矩阵的定义可知，$L^{norm}$ 为半正定矩阵。

1.3 标准化邻接矩阵的特征值范围

1.3.1 瑞利商（Rayleigh quotient）

在求标准化邻接矩阵 $A^{norm}$ 的特征值范围前，需要了解瑞利商。瑞利商的定义如下：
$$R(A,x)=\frac{x^{T}Ax}{x^{T}x}$$，其中 $A$ 为 $n\times n$ 对称矩阵，$x$ 为 $n$ 维度向量。如果A的特征值为${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，则其瑞利商的下界为${\lambda }_1$，上界为 ${\lambda }_n$。

关于瑞利商，参见我的博客：瑞利商性质及证明。

1.3.2 标准化邻接矩阵的特征值范围计算

$$x^T{L}^{norm}x\ge 0\Rightarrow x^T(I-A^{norm})x\ge 0\Rightarrow x^{T}x-x^T{A}^{norm}x\ge 0\Rightarrow 1\ge \frac{x^T{A}^{norm}x}{x^{T}x}$$，由瑞利商的性质可知，$A^{norm}$ 最大特征值小于等于1，即 ${\alpha }_n\le 1$；当 $x=D^{\frac{1}{2}}e$ 时，${\alpha }_n=1$。

类似于证明 $L^{norm}$ 是半正定矩阵，$I+A^{norm}$ 也是半正定矩阵：

$$x^T(I+A^{norm})x=\sum _{i\in V}{x}_i^2+\sum _{(i,j)\in E}(\frac{x_i}{\sqrt{d_i}}+\frac{x_j}{\sqrt{d_j}}{)}^2\ge 0$$，所以有：
$$x^T(I+A^{norm})x\ge 0\Rightarrow x^{T}x+x^T{A}^{norm}x\ge 0\Rightarrow \frac{x^T{A}^{norm}x}{x^{T}x}\ge -1$$，由瑞利商的性质可知，$A^{norm}$ 最小特征值大于等于-1，即 ${\alpha }_1\ge -1$。

所以标准化邻接矩阵 $A^{norm}$ 的特征值满足$-1\le {\alpha }_1\le {\alpha }_2\le \cdots \le {\alpha }_n=1$

1.3.3 标准化拉普拉斯矩阵的特征值范围计算

$\because$
$$\begin{array}{rl}& \frac{x^T{L}^{norm}x}{x^{T}x}=\frac{x^T(I-A^{norm})x}{x^{T}x}=1-\frac{x^T{A}^{norm}x}{x^{T}x}=1-R(A^{norm},x)\\ & -1\le R(A^{norm},x)\le 1\end{array}$$$\therefore$
$$\begin{array}{rl}& 0\le \frac{x^T{L}^{norm}x}{x^{T}x}\le 2\end{array}$$，其下确界为0，当 $x=D^{\frac{1}{2}}e$ 时，${\lambda }_1=0$。

证毕。

参考网址

拉普拉斯性质
ORIE 6334 Spectral Graph Theory Lecture 7（主要参考了本文）
瑞利商性质及证明
Bounding matrix quadratic form using eigenvalues
Why Laplacian Matrix need normalization and how come the sqrt of Degree Matrix?

$■$