瑞利商性质及证明

前言

在推导标准化拉普拉斯矩阵的特征值范围时，用到了瑞利商，它也是LDA最大化目标函数使用的定义。

瑞利商定义

瑞利商的定义为：
$$R(A,x)=\frac{x^{T}Ax}{x^{T}x}$$，其中 $A$ 为 $n\times n$ 对称矩阵，$x$ 为 $n$ 维度向量。

瑞利商性质

设对称矩阵 $A$ 的特征值为 ${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，对应的特征向量为$v_1,v_2,\cdots ,v_n$。有：
$$\begin{gathered} \underset{x}{\max }R(A,x)={\lambda }_n \\ \underset{x}{\min }R(A,x)={\lambda }_1 \end{gathered}$$

瑞利商性质证明

瑞利商的上下界

由于A为对称矩阵，可以进行相似对角化：
$$A=U\Lambda U^T$$，其中特征对角阵$\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$，特征向量阵 $U=(v_1,v_2,...,v_n)$，且满足 $U{U}^T=I$。有：
$$R(A,x)=\frac{x^{T}Ax}{x^{T}x}=\frac{x^{T}U\Lambda U^{T}x}{x^{T}U{U}^{T}x}$$，令$y=U^{T}x$，有：
$$\begin{array}{rl}R(A,x)& =\frac{y^T\Lambda y}{y^{T}y}\end{array}$$$\because$
y T Λ y = [ y 1 , y 2 , ⋯   , y n ] [ λ 1 λ 2 ⋱ λ n ] [ y 1 y 2 ⋮ y n ] = ∑ i n λ i y i 2 y y T = [ y 1 , y 2 , ⋯   , y n ] [ y 1 y 2 ⋮ y n ] = ∑ i n y i 2 \begin{aligned} &y^T\Lambda y=[y_1,y_2,\cdots,y_n] \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \\ \end{bmatrix} \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n\\ \end{bmatrix}=\sum_i^n\lambda_iy_i^2 \\ &yy^T=[y_1,y_2,\cdots,y_n] \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n\\ \end{bmatrix}=\sum_i^ny_i^2 \\ \end{aligned} ​yTΛy=[y1​,y2​,⋯,yn​] ​λ1​​λ2​​⋱​λn​​ ​ ​y1​y2​⋮yn​​ ​=i∑n​λi​yi2​yyT=[y1​,y2​,⋯,yn​] ​y1​y2​⋮yn​​ ​=i∑n​yi2​​$\therefore$
$$\begin{array}{r}R(A,x)=\frac{\sum _i^n{\lambda }_i{y}_i^2}{\sum _i^n{y}_i^2}\end{array}$$ 由于特征值大小关系 ${\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$，显然有：

$${\lambda }_1\sum _i^n{y}_i^2\le \sum _i^n{\lambda }_i{y}_i^2\le {\lambda }_n\sum _i^n{y}_i^2$$，于是有：
$$\frac{{\lambda }_1\sum _i^n{y}_i^2}{\sum _i^n{y}_i^2}\le \frac{\sum _i^n{\lambda }_i{y}_i^2}{\sum _i^n{y}_i^2}\le \frac{{\lambda }_n\sum _i^n{y}_I^2}{\sum _i^n{y}_i^2}$$，即：
$${\lambda }_1\le R(A,x)\le {\lambda }_n$$

瑞利商的上下确界

上一节已经证明了瑞利商的范围为$[{\lambda }_{min},{\lambda }_{max}]$，要想知道上、下确界为${\lambda }_{min},{\lambda }_{max}$，只需要寻找特殊值使 $R(A,x)={\lambda }_1$ 或 $R(A,x)={\lambda }_n$ 即可。

由于 $v_1,v_2,...,v_n$ 是 $n$ 维空间的一组单位正交基，因此可以设 $n$ 维向量 $x={\sum }_{i=1}^n{k}_i{v}_i$，为简单起见，我们设 $x^{T}x=1$。有：

y = U T x = [ v 1 T v 2 T ⋮ v n T ] ( k 1 v + k 2 v 2 + ⋯ + k n v n ) = [ k 1 k 2 ⋮ k n ] y=U^Tx= \begin{bmatrix} v_1^T\\ v_2^T\\ \vdots\\ v_n^T\\ \end{bmatrix} (k_1v+k_2v_2+\cdots+k_nv_n)= \begin{bmatrix} k_1\\ k_2\\ \vdots\\ k_n\\ \end{bmatrix} y=UTx= ​v1T​v2T​⋮vnT​​ ​(k1​v+k2​v2​+⋯+kn​vn​)= ​k1​k2​⋮kn​​ ​，所以有：
R ( A , x ) = x T A x x T x = x T U Λ U T x x T x = y T Λ y = [ k 1 , k 2 , ⋯   , k n ] [ λ 1 λ 2 ⋱ λ n ] [ k 1 k 2 ⋮ k n ] = ∑ i = 1 n k i 2 λ i \begin{aligned} R(A,x)&=\frac{x^TAx}{x^Tx} \\ &={\frac {x^TU\Lambda U^T x} {x^Tx}} \\ &=y^T\Lambda y\\ &=[k_1,k_2,\cdots,k_n] \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \\ \end{bmatrix} \begin{bmatrix} k_1\\ k_2\\ \vdots\\ k_n\\ \end{bmatrix} \\ &=\sum_{i=1}^nk_i^2\lambda_i \end{aligned} R(A,x)​=xTxxTAx​=xTxxTUΛUTx​=yTΛy=[k1​,k2​,⋯,kn​] ​λ1​​λ2​​⋱​λn​​ ​ ​k1​k2​⋮kn​​ ​=i=1∑n​ki2​λi​​ 显然有：${\lambda }_1{\sum }_{i=1}^n{k}_i^2\le {\sum }_{i=1}^n{k}_i^2{\lambda }_i<{\lambda }_n{\sum }_{i=1}^n{k}_i^2$，即：
$${\lambda }_1\le R(A,x)\le {\lambda }_n$$
因为 $R(A,x)={\sum }_{i=1}^n{k}_i^2{\lambda }_i=k_1^2{\lambda }_1+k_2^2{\lambda }_2+\cdots +k_n^2{\lambda }_n$，$k_1^2+k_2^2+\cdots +k_n^2=1$，所以：

• 当 $k_1=1$时，$R(A,x)$ 取最小值，即 ${\lambda }_1$;
• 当 $k_n=1$时，$R(A,x)$ 取最大值，即 ${\lambda }_n$;

瑞利商的上下确界证毕。

$■$

参考

https://sharmaeklavya2.github.io/theoremdep/nodes/linear-algebra/matrices/bounding-quadratic-form-using-eigenvalues.html
https://www.cnblogs.com/spencergogo/p/16112581.html
https://zhuanlan.zhihu.com/p/440760513