瑞利熵和广义瑞利熵

此内容转载于这篇博客
我们首先来看看瑞利商的定义。瑞利商是指这样的函数 R(A,x) :

R(A,x)=xHAxxHx

　　　　其中 x 为非零向量，而 A 为 n×n 的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即 AH=A 。如果我们的矩阵A是实矩阵，则满足 AT=A 的矩阵即为Hermitan矩阵。

　　　　瑞利商 R(A,x) 有一个非常重要的性质，即它的最大值等于矩阵 A 最大的特征值，而最小值等于矩阵 A 的最小的特征值，也就是满足

λmin≤xHAxxHx≤λmax

　　　　具体的证明这里就不给出了。当向量 x 是标准正交基时，即满足 xHx=1 时，瑞利商退化为： R(A,x)=xHAx ，这个形式在谱聚类和PCA中都有出现。

　　　　以上就是瑞利商的内容，现在我们再看看广义瑞利商。广义瑞利商是指这样的函数 R(A,B,x) :

R(A,x)=xHAxxHBx

　　　　其中 x 为非零向量，而 A,B 为 n×n 的Hermitan矩阵。 B 为正定矩阵。它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令 x′=B−1/2x ,则分母转化为：

xHBx=x′H(B−1/2)HBB−1/2x′=x′HB−1/2BB−1/2x′=x′Hx′

　　　　而分子转化为：

xHAx=x′HB−1/2AB−1/2x′

　　　　此时我们的 R(A,B,x) 转化为 R(A,B,x′) :

R(A,B,x′)=x′HB−1/2AB−1/2x′x′Hx′

　　　　利用前面的瑞利商的性质，我们可以很快的知道， R(A,B,x) 的最大值为矩阵 B−1/2AB−1/2 的最大特征值，或者说矩阵 B−1A 的最大特征值，而最小值为矩阵 B−1A 的最小特征值。如果你看过我写的谱聚类（spectral clustering）原理总结第6.2节的话，就会发现这里使用了一样的技巧，即对矩阵进行标准化。