Spectral Bounds for Sparse PCA: Exact and Greedy Algorithms[贪婪算法选特征]

概括

这篇论文，不像以往的那些论文，构造优化问题，然后再求解这个问题（一般都是凸化）。而是，直接选择某些特征，自然，不是瞎选的，论文给了一些理论支撑。但是，说实话，对于这个算法，我不敢苟同，我觉得好麻烦的。

Sparse PCA Formulation

非常普遍的问题

Optimality Conditions

这一小节，论文给出了，上述问题在取得最优的情况下应该符合条件。

条件1

如果$x^{\ast }\mathbf{C}\mathbf{a}\mathbf{r}\mathbf{d}(x^{\ast })=k$是上述问题的最优解，那么$z^{\ast }$（由$x^{\ast }$非零元组成）是子举证$A_k^{\ast }$（$x^{\ast }$非零元所在位置，$A$的$k$行$k$列）的主特征向量。
这个条件是显然的。

条件2

感觉和上面也没差啊。

Eigenvalue Bounds

这个定理，可以由一个事实导出：
$A\in {\mathbb{R}}^{n\times n}$为一对称矩阵，${\lambda }_i$为其特征值，且降序排列。
$A_{n-1}$为$A$的任意$n-1$级主子式，${\delta }_{i}i=1,2,\dots ,n-1$为其特征值，那么有下面分隔：
${\lambda }_1\le {\delta }_1\le {\lambda }_2\le \dots \le {\delta }_{n-1}\le {\lambda }_n$
根据这个事实，再用归纳法就可以推出上面式子。

分隔定理的证明(《代数特征值问题》p98)

存在正交变换$Q$,使得$Q^{\mathrm{T}}BQ$右下角变为对角阵。若正交矩阵$S$使得$S^{\mathrm{T}}{B}_{n-1}S$为对角阵，那么，

且右下角矩阵的特征值并没有变化。

令：

设$a$只有$s$个成分不为0，若$a_j=0$,那么${\alpha }_j$就是$X$的特征值。
经过一个适当的置换矩阵$P$变换，我们可以得到：
(注意，下面的$b$和上面的$b$不是一个$b$,只是为了与书上的符号相一致)

那么只需要考虑

的特征值就行了，因为${\gamma }_i$是矩阵$A$和$A_{n-1}$所共有的。
考虑$Z$的特征多项式：
$(\alpha -\lambda )\prod _{i=1}^s({\beta }_i-\lambda )-\sum _{j=1}^s{b}_j^2\prod _{i̸=j}({\beta }_i-\lambda )=0$
假定${\beta }_i$中只有$t$个不同的值，不失一般性，可令它们为${\beta }_1,{\beta }_2,\dots ,{\beta }_t$,
且重数为$r_1,r_2,\dots ,r_s\sum _i{r}_i=s$
等式左端有因子:
$\sum _{i=1}^t({\beta }_i-\lambda {)}^{r_i-1}$
因此，${\beta }_i$为$Z$的特征值，重数为$r_i-1$
等式除以$\sum _{i=1}^t({\beta }_i-\lambda {)}^{r_i}$可得：
$0=(\alpha -\lambda )-\sum _{i=1}^t{c}_i^2({\beta }_i-\lambda {)}^{-1}=a-f(\lambda )$
$Z$的剩余的特征值是$a-f(\lambda )=0$的根。
根据正负的特点，和连续函数（实质上是分段的）根的存在性定理，可以知道
$a-f(\lambda )$的$t+1$个根${\delta }_i$满足：
${\delta }_1>{\beta }_1>{\delta }_2>\dots >{\beta }_t>{\delta }_{t+1}$

这样所有根的序列就得到了，就是我们要证的。整理一下可以得到，
除了刚刚讲的$t+1$个根，
还有$s-t$个${\beta }_i$相同的特征值，以及
$n-s-1$个${\gamma }_i$.

另外一个性质

这个性质不想去弄明白了

算法

我的理解这样的：
step1.选第一个特征，就是对角元最大的那个
step2.在第一个的基础上，再选一个，这次会形成一个$2\times 2$的子矩阵，所以，需要选择令这个矩阵首特征值最大的第二个特征。
step3.反复进行，直到k?
这是前向的，还有对应的后向的，一个个减。论文推荐是，俩种都进行，然后挑二者中比较好的一个。
未免太复杂了些？

代码

只写了前向的代码：

import numpy as np
def You_eig_value(C):  #幂法 只输出特征值
    d = C.shape[1]
    x1 = np.random.random(d)
    while True:
        x2 = C @ x1
        x2 = x2 / np.sqrt(x2 @ x2)
        if np.sum(np.abs(x2-x1)) < 0.0001:
            break
        else:
            x1 = x2
            
    return x1 @ C @ x1

def forward(C):
    n = C.shape[0]
    label1 = set(range(n))
    label = [np.argsort(np.diag(C))[-1]]
    label1 -= set(label)
    count = 0
    while len(label1) > 0:
        count += 1
        maxvalue = 0
        maxi = -1
        for i in label1:
            value = You_eig_value(C[label+[i],:][:,label + [i]])
            if value > maxvalue:
                maxvalue = value
                maxi = i
        label.append(maxi)
        label1 -= {maxi}
        
    return label


f = open('C:/Users/biiig/Desktop/pitprops.txt')
C = []
for i in f:
    C.append(list(map(float, i.split())))
f.close()
C = np.array(C)
forward(C) # [12, 6, 5, 9, 1, 0, 8, 7, 3, 2, 11, 4, 10]