Clustering and Projected Clustering with Adaptive Neighbors

摘要

在本文中，提出了一种新的聚类模型来同时学习数据相似矩阵和聚类结构。新模型通过基于局部距离为每个数据点分配自适应和最优邻居来学习数据相似性矩阵。同时，对数据相似性矩阵的拉普拉斯矩阵施加新的秩约束，使得得到的相似性矩阵中的连接分量完全等于聚类数。

介绍

聚类将数据点划分为不同的组，使得同一个组中的对象具有高度的相似性。

最常用的聚类算法是k-means。

本文中提出新的角度解决聚类问题。通过基于局部连通性为每个数据点分配自适应和最优邻居来学习数据相似矩阵。主要假设是，距离较小的数据点成为邻居的概率较大。更重要的是，对相似矩阵的拉普拉斯矩阵施加秩约束，以实现理想的邻域分配，使得数据中的连接分量与聚类数精确，并且每个连接分量对应于一个聚类。新模型同时学习数据相似度矩阵和聚类结构，以获得最佳聚类结果。

推导了一种新的高效算法来解决这个具有挑战性的问题，并从理论上分析了我们的方法与K均值聚类和谱聚类之间的联系。此外，扩展了所提出的用于投影聚类的聚类模型以处理高维数据。

符号：

整篇论文中所有的符号都是大写：

符号	表示
$m_i$，$m_{ij}$	矩阵M的第i行,M的第（i,j）个元素
$\Vert v{\Vert }_2$	向量v的L2范式
$\Vert M{\Vert }_F$	矩阵M的Frobenius范数
$I$	单位矩阵
$\text{1}$	列向量，所有元素为1

向量v，矩阵M大于等于0，其中所有的元素均大于等于0

自适应邻域聚类

给定数据集$x_1,x_2,...,x_n，X\in {\mathbb{R}}^{n\times d}$作为数据矩阵。

$x_i\in {\mathbb{R}}^{d\times 1}$的邻居可以定义为数据集中与$x_i$最近的k个数据点，本文中考虑概率邻居，简单起见，使用欧几里得距离作为距离度量。

对于$x_i$，每个数据点可以以概率$s_{ij}$的概率作为邻居连接到$x_i$

一个较小的距离$||x_i-x_j|{|}_2^2$应分配到更大的$s_{ij}$,确定概率$s_{ij}{|}_{j=1}^n$的自然方法是解决以下问题：
$${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n||x_i-x_j|{|}_2^2{s}_{ij}\text{\hspace{1em}(1)}$$
其中 $s_i\in {\mathbb{R}}^{n\times 1}$ 是第 j 个元素为 $s_{ij}$的向量。

问题（1）有平凡解（例Ax=0中的0解），即只有最近的数据点可以是概率为1的xi的邻居，而所有其他数据点不能是xi的邻居。

在数据中不涉及任何距离信息的情况下解决以下问题：
$${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n{s}_{ij}^2\text{\hspace{1em}(2)}$$
最优解决方案是所有数据点都可以是$x_i$的邻居，其概率为$\frac{1}{n}$

结合(1)和（2）,解决如下问题：
$${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)\text{\hspace{1em}(3)}$$
上式中第二项是正则化，$\gamma$是正则化参数，记$d_{ij}^x=||x_i-x_j|{|}_2^2,d_i^x\in {\mathbb{R}}^{n\times 1}$表示为第j个元素为$d_{ij}^x$的向量。问题（3）可以写成向量的形式。
$${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n||s_i+\frac{1}{2\gamma }{d}_i^x|{|}_2^2\text{\hspace{1em}(4)}$$

公式（3）到公式（4）的证明：
$$\begin{array}{rl}& \min \sum _{j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)\\ & =\min \sum _{i=1}^n\sum _{j=1}^n{d}_{ij}^x{s}_{ij}+\gamma ||s|{|}_F^2\\ & =\min \sum _{i=1}^n{s}_i^T{d}_i^x+\gamma ||s|{|}_F^2\\ & =\min \sum _{i=1}^n(s_i^T{d}_i^x+\gamma s_i^T{s}_i)\\ & =\gamma \min \sum _{i=1}^n(s_i^T{s}_i+\frac{1}{\gamma }{s}_i^T{d}_i^x)\\ & =\gamma \min \sum _{i=1}^n(s_i^T{s}_i+2\frac{1}{2\gamma }{s}_i^T{d}_i^x+\frac{{d_i^x}^T{d}_i^x}{(2\gamma {)}^2}-\frac{{d_i^x}^T{d}_i^x}{(2\gamma {)}^2})最后一项是常数，舍去\\ & =\gamma \min \sum _{i=1}^n(s_i^T{s}_i+2\frac{1}{2\gamma }{s}_i^T{d}_i^x+\frac{{d_i^x}^T{d}_i^x}{(2\gamma {)}^2})\\ & =\gamma \min \sum _{i=1}^n||s_i+\frac{1}{2\gamma }{d}_i^x|{|}_2^2\end{array}$$
对每个数据点$x_i$，可以使用等式（3）分配其邻居，因此可以解决以下问题为所有数据点分配邻居：
$${\min }_{\forall i,s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)\text{\hspace{1em}(5)}$$
理想的邻居分配是数据中的连通分量是精确的c。通常对于$\gamma$的任意值，等式（5）并不能达到理想情况。多数情况下，所有数据点仅作为一个连通分量作为连接。为了实现理想的分配，（5）中的概率$s_{ij}{|}_{j=1}^n$应受到约束，使邻域分配成为一个自适应的过程，以使连通分量精确为c。这种对相似性的结构化约束是基本的，但也很难处理。本文中，提出一种新颖但非常简单的方法来实现这一目标。

邻域分配得到的矩阵$S\in {\mathbb{R}}^{n\times n}$可以看成以 n 个数据点为节点的图的相似度矩阵。假设每个节点 i 被分配一个函数值为 $f_i\in {\mathbb{R}}^{c\times 1}$，那么可以验证：
$$\sum _{i,j=1}^n||f_i-f_j|{|}_2^2{s}_{ij}=2Tr(F^T{L}_{s}F)\text{\hspace{1em}(6)}$$
其中$F\in {\mathbb{R}}^{n\times c}$第i行是$f_i$,$L_S=D_S-\frac{S^T+S}{2}$是拉普拉斯矩阵，$D_S$是对角矩阵，第i个对角元素是${\sum }_j(s_{ij}+s_{ji})/2$。

若 相似矩阵S为非负，则拉普拉斯矩阵有如下性质：

• 定理1：

  相似矩阵Ｓ对应的拉普拉斯矩阵$L_S$特征值为０的重数 c 等于相似矩阵Ｓ对应的图中连通分量的个数

定理1表明，若$L_S$的秩为$n-c$（拉普拉斯矩阵是对称的，实对称矩阵必可相似对角化，可相似对角化的矩阵的秩等于非零特征值的个数）。那么得到的连通分量的个数刚好为ｃ个，这时的邻居分配是理想的分配，并且基于Ｓ将点分成了ｃ个簇类。不需要执行k-means或其他离散化过程。在问题（5）中添加额外的秩约束$r(L_S)=n-c$，以实现具有清晰聚类结构的理想邻居分配。
$$\begin{gathered} J_{opt}={\min }_S\sum _{i,j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1,rank(L_s)=n-c\text{\hspace{1em}(7)} \end{gathered}$$
问题（7）难以解决，因为拉普拉斯矩阵$L_S$以及度矩阵$D_S$依赖于S,秩约束也难以处理。

求解问题（7）的优化算法

${\sigma }_i(L_S)$是$L_S$的第i个最小特征值，${\sigma }_i(L_S)\ge 0$（$L_S$半正定） 对于足够大的$\lambda$值，问题（7）等价于：
$$\begin{gathered} {\min }_S\sum _{i,j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)+2\lambda \sum _{i=1}^c{\sigma }_i(L_s) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1\text{\hspace{1em}(8)} \end{gathered}$$
当$\lambda$足够大时，由于${\sigma }_i\ge 0$,问题（8）的最优解S将会使第二项${\sum }_{i=1}^c{\sigma }_i(L_S)$变成0。因此可以满足问题（7）中的约束秩n-c

根据相关定理：
$$\sum _{i=1}^c{\sigma }_i(L_S)={\min }_{F\in {\mathbb{R}}^{n\times c},F^{T}F=I}Tr(F^T{L}_{S}F)\text{\hspace{1em}(9)}$$
因此，问题（8）进一步等价于以下问题:
$$\begin{gathered} {\min }_{S，F}\sum _{i,j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)+2\lambda Tr(F^T{L}_{S}F) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1,F\in R^{n\times c},F^{T}F=I\text{\hspace{1em}(10)} \end{gathered}$$
相较于问题（7），问题10更容易求解。

当S固定时，问题10 变成：
$${\min }_{F\in {\mathbb{R}}^{n\times c},F^{T}F=I}Tr(F^T{L}_{S}F)\text{\hspace{1em}(11)}$$
问题（11）的最优解F由$L_S$的c个最小特征值的对应的c个特征向量形成。

当F固定时问题10变为：
$$\begin{gathered} {\min }_S\sum _{i,j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2)+2\lambda Tr(F^T{L}_{S}F) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1\text{\hspace{1em}(12)} \end{gathered}$$
根据等式6，问题12可以写为：
$$\begin{gathered} {\min }_S\sum _{i,j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2+\lambda ||f_i-f_j|{|}_2^2{s}_{ij}) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1\text{\hspace{1em}(13)} \end{gathered}$$
问题13在不同i之间是独立的，因此可以针对每个i分别解决以下问题：
$$\begin{gathered} {\min }_{s_i}\sum _{j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2+\lambda ||f_i-f_j|{|}_2^2{s}_{ij}) \\ s.t\forall i,s_i^T\text{1}=1,0\le s_i\le 1\text{\hspace{1em}(14)} \end{gathered}$$
记$d_{ij}^x=||x_i-x_j|{|}_2^2,d_{ij}^f=||f_i-f_j|{|}_2^2,d_i\in {\mathbb{R}}^{n\times 1}$表示为第j个元素为$d_{ij}=d_{ij}^x+\lambda d_{ij}^f$的向量。问题14可以写成向量的形式：
$${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n||s_i+\frac{1}{2\gamma }{d}_i|{|}_2^2\text{\hspace{1em}(15)}$$

公式14到公式15的证明：
$$\begin{array}{rl}& {\min }_{s_i}\sum _{j=1}^n(||x_i-x_j|{|}_2^2{s}_{ij}+\gamma s_{ij}^2+||f_i-f_j|{|}_2^2{s}_{ij})\\ & =\min \sum _{i=1}^n\sum _{j=1}^n(s_{ij}{d}_{ij}^x+{\lambda }_{ij}{d}_{ij}^f)+\lambda ||S|{|}_F^2\\ & =\min \sum _{i=1}^n(s_i^T{d}_i^x+\gamma ||s_i|{|}_2^2+\lambda s_i^T{d}_i^f)\\ & =\min \sum _{i=1}^n(s_i^T(d_i^x++\lambda d_i^f)+\gamma ||s_i|{|}_2^2)\\ & =\min \sum _{i=1}^n(s_i^T{d}_i+\gamma ||s_i|{|}_2^2)\\ & =\min \sum _{i=1}^n(s_i^T{d}_i+\gamma s_i^T{s}_i)\\ & =\gamma \min \sum _{i=1}^n(s_i^T{s}_i+\frac{1}{\gamma }{s}_i^T{d}_i)\\ & =\gamma \min \sum _{i=1}^n(s_i^T{s}_i+2\frac{1}{2\gamma }{s}_i^T{d}_i+\frac{d_i^T{d}_i}{4{\gamma }^2}-\frac{d_i^T{d}_i}{4{\gamma }^2})最后一项常数，舍去\\ & =\gamma \min \sum _{i=1}^n||s_i+\frac{1}{2\gamma }{d}_i|{|}_2^2\end{array}\text{\hspace{1em}(14)}$$

联系kmeans聚类

中心矩阵：
$$H=I-\frac{1}{n}\text{1}{\text{1}}^T\text{\hspace{1em}(16)}$$
$D^x\in {\mathbb{R}}^{n\times n}$作为距离矩阵，其中第（i,j）个元素是$d_{ij}^x=||x_i-x_j|{|}_2^2$，为了分析算法1与kmeans的联系，首先需要以下引理：

引理1：$H{D}^{x}H=-2HX{X}^{T}H$

证明：

$d_{ij}^x=||x_i-x_j|{|}_2^2=x_i^T{x}_j+x_j^T{x}_i-2x_i{x}_j$，$D^x=Diag(X{X}^T){\text{11}}^T+{\text{11}}^{T}Diag(X{X}^T)-2X{X}^T$,$Diag(X{X}^T)$是对角矩阵，对角元素是$X{X}^T$,注意：根据H的定义，$H\text{1}={\text{1}}^{T}H=0$，我们有$H{D}^{x}H=-2HX{X}^{T}H$

引理2揭示了当$\gamma \to \infty$算法1解决了kmeans问题

引理2:当$\gamma \to \infty$，问题7等价于kmeans问题

证明：

问题7可以写为矩阵的形式：
$${\min }_{S\text{1}=1,S\ge 0,rank(L_S)=n-c}Tr(S^T{D}^x)+\gamma ||S|{|}_F^2\text{\hspace{1em}(17)}$$
由于约束$rank(L_s)=n-c,S$ 具有精确的$c$分量（即，s是具有适当置换的块对角）。假设S的第i个分量是$S_i\in {\mathbb{R}}^{n_i\times ni}$，$n_i$是组件中数据点的数量，那么解决问题（17）就是解决每个i的以下问题:
$${\min }_{S_i\text{1}=1,S_i\ge 0}Tr(S_i^T{D}_i^x)+\gamma ||S_i|{|}_F^2\text{\hspace{1em}(18)}$$
当$\gamma \to \infty$,问题8变成：
$${\min }_{S_i\text{1}=1,S_i\ge 0}||S_i|{|}_F^2\text{\hspace{1em}(19)}$$
问题19的最优解是$s_i$的所有元素都等于$\frac{1}{n_i}$：

因此，当$\gamma \to \infty$问题17的最优解应该是以下形式：
$$s_{ij}=\{\begin{array}{ll}\frac{1}{n_k}& x_i和x_j在同一分量k中\\ 0& 其他情况\end{array}\text{\hspace{1em}(20)}$$

用$V$表示满足等式20 的解集。对于c分量任意可能的划分，s具有等式20中的形式。$||S|{|}_F^2$有相同的值，即$||S|{|}_F^2=c$,问题17变成：
$${\min }_{S\in V}Tr(S^T{D}^x)\text{\hspace{1em}(21)}$$

根据21中S的约束，S是对称的并且$S\text{1}={\text{1}}^{T}S=1$,所以：$Tr(H{D}_{x}HS)=Tr(D_{x}S)-\frac{1}{n}{\text{1}}^T{D}_x\text{1}$并且因此问题21等价于解决以下问题：
$${\min }_{S\in V}Tr(H{D}^{x}HS)\text{\hspace{1em}(22)}$$
定义标签矩阵$Y\in {\mathbb{R}}^{n\times c}$,第（i，j)个元素是：
$$y_{ij}=\{\begin{array}{ll}\frac{1}{\sqrt{n_k}}& s_i属于第k个分量\\ 0& 其他情况\end{array}\text{\hspace{1em}(23)}$$

根据等式22和引理1，可以得到：
$$\begin{array}{rl}& {\min }_{S\in V}Tr(H{D}_{x}HS)\\ & ⟺{\max }_{S\in V}Tr(HX{X}^{T}HSS)\\ & ⟺{\max }_{S\in V}Tr(X^{T}HSHX)\\ & ⟺{\min }_{S\in V}Tr(X^{T}H(I-S)HX)\\ & ⟺{\min }_{Y}Tr(X^{T}H(I-Y{Y}^T)HX)\\ & ⟺{\min }_{Y}Tr(S^w)\end{array}\text{\hspace{1em}(24)}$$

这正是kmeans问题，在经典线性判别分析（LDA）中，当给定数据的标签Y时，矩阵Sw称为类内散布矩阵。K-均值是找到最佳标记Y，使得类内散射矩阵tr（Sw）的轨迹最小化。

我们将在下一小节中看到，算法1中提出的方法与谱聚类密切相关。因此，当$\gamma \to \infty$虽然新算法是为了解决K-means问题（只能分割球形数据），当$\gamma$不是很大时，它可以分割任意形状的数据。我们还将在实验中看到，即使在$\gamma$不是很大的情况下，该新算法也可以找到更好的K-均值问题的解。

与谱聚类的联系

给定图的相似矩阵S，谱聚类是为了解决如下问题：
$${\min }_{F\in R^{n\times c},F^{T}F=I}Tr(F^T{L}_{S}F)\text{\hspace{1em}(25)}$$
通常，由于具有S的图不具有精确的c连通分量，因此不能直接用于聚类。应在F上执行K均值或其他离散化程序，以获得最终聚类结果

在算法1的收敛过程中，我们还获得了问题（25）的最优解F，不同之处在于，相似性S也是通过算法学习的。注意，在收敛过程中，问题（10）中的最后一项$2\lambda Tr(FTLSF)$将近似为零，学习的S主要通过求解问题5来实现。

由于秩约束，S有c个联通分量，因此最优解F,由$L_S$的c个最小特征值对应的特征向量组成，可以写为：
$$F=YQ$$
$Y\in {\mathbb{R}}^{n\times c}$是23中定义的标签矩阵，$Q\in {\mathbb{R}}^{n\times c}$是任意正交矩阵。也就是说，可以直接使用获得的F来获得最终的聚类结果，而无需像传统的谱聚类那样使用K均值或其他离散化过程。

可以看出，所提出的算法同时学习相似矩阵S和标签矩阵F，而传统的谱聚类仅在给定相似矩阵S的情况下学习F。因此，新算法在实践中可以获得更好的性能，因为它还学习用于聚类的自适应图。

确定$\gamma$的值

实际上正则化参数比较难以调整，因为其值可能从0到无穷大。本节提出有效的方法确定问题7中的$\gamma$

对于每个i，问题7中的目标函数等同于问题4中的一个，问题4中的拉格朗日函数为：
$$\mathcal{L}(s_i,\eta ,{\beta }_i)=\frac{1}{2}||s_i+\frac{d_i^x}{2{\gamma }^i}|{|}_2^2-\eta (s_i^T\text{1}-1)-{\beta }_i^T{s}_i\text{\hspace{1em}(27)}$$
其中$\eta$和${\beta }_i\ge 0$是拉格朗日乘数。

根据kkt条件，可以验证最优解$s_i$应为：
$$s_{ij}=(-\frac{d_{ij}^x}{2{\gamma }_i}+\eta {)}_{+}\text{\hspace{1em}(28)}$$
在实践中，如果我们关注数据的局部性，通常可以获得更好的性能。因此，最好学习稀疏si，即只有xi的k个最近邻居有机会连接到xi。学习稀疏相似矩阵S的另一个好处是，可以大大减轻后续处理的计算负担。

在不损失一般性的情况下，假设$d_{i1}^x、d_{i2}^x、\dots 、d_{in}^x$从小到大排序。如果最优si仅有k个非零元素，则根据等式28有$s_{ik}>0,s_{i,k+1}=0$。因此，我们有：
$$\{\begin{array}{ll}& -\frac{d_{ij}^x}{2{\gamma }_i}+\eta >0\\ & -\frac{d_{ij}^x}{2{\gamma }_i}+\eta \le 0\end{array}\text{\hspace{1em}(29)}$$
根据 等式28 以及约束$s_i^T\text{1}=1$ 可以得到：
$$\begin{gathered} \sum _{j=1}^k(-\frac{d_{ij}^x}{2{\gamma }_i}+\eta )=1 \\ \Rightarrow \eta =\frac{1}{k}+\frac{1}{2k{\gamma }_i}\sum _{j=1}^k{d}_{ij}^x\text{\hspace{1em}(30)} \end{gathered}$$
因此，根据 29和 30，对于 i，我们有以下不等式:
$$\frac{k}{2}{d}_{ik}^x-\frac{1}{2}\sum _{j=1}^k{d}_{ij}^x\le {\gamma }_i\le \frac{k}{2}{d}_{i,k+1}^x-\frac{1}{2}\sum _{j=1}^k{d}_{ij}^x\text{\hspace{1em}(31)}$$
因此，为了获得具有精确k个非零值的问题4的最优解$s_i$，我们可以设置${\gamma }_i$
$${\gamma }_i=\frac{k}{2}{d}_{i,k+1}^x-\frac{1}{2}\sum _{j=1}^k{d}_{ij}^k\text{\hspace{1em}(32)}$$
总$\gamma$可以设置为${\gamma }_1,{\gamma }_2,\dots ,{\gamma }_n$的平均值，我们可以将$\gamma$设置为：
$${\gamma }_i=\frac{1}{n}\sum _{i=1}^n(\frac{k}{2}{d}_{i,k+1}^x-\frac{1}{2}\sum _{j=1}^k{d}_{ij}^k)\text{\hspace{1em}(33)}$$
邻域数k比正则化参数γ更容易调整，因为k是一个整数，具有明确的含义。

计算$s_{ij}$过程：
$$\begin{array}{rl}& (28):s_{ij}=(-\frac{d_{ij}^x}{2{\gamma }_i}+\eta {)}_{+}\\ & (30):\eta =\frac{1}{k}+\frac{1}{2k{\gamma }_i}\sum _{j=1}^k{d}_{ij}^x\\ & (32):{\gamma }_i=\frac{k}{2}{d}_{i,k+1}^x-\frac{1}{2}\sum _{j=1}^k{d}_{ij}^k\end{array}$$
32带入30：
$$\begin{array}{rl}& \eta =\frac{1}{k}+\frac{{\sum }_{j=1}^k{d}_{ij}^x}{k^2{d}_{i,k+1}^x-k{\sum }_{j=1}^x{d}_{ij}^x}\\ & =\frac{1}{k}(1+\frac{{\sum }_{j=1}^k{d}_{ij}^x}{k{d}_{i,k+1}^x-{\sum }_{j=1}^x{d}_{ij}^x}),括号里面求和后再乘\frac{1}{k}\\ & =\frac{d_{i,k+1}^x}{k{d}_{i,k+1}^x-{\sum }_{j=1}^x{d}_{ij}^x}\end{array}$$
将上式以及32带入28可得：
$$s_{ij}=\{\begin{array}{ll}\frac{d_{i,k+1}^x-d_{ij}^x}{k{d}_{i,k+1}^x-{\sum }_{j=1}^k{d}_{ij}^x},& j\le k\\ 0,& j>k\end{array}$$

自适应领域投影聚类

目标是找到一个最优子空间，在该子空间上执行自适应邻域，以便在数据中有精确的c连通分量。

总散射矩阵$S_t=X^{T}HX$，H是16中定义的中心矩阵，假设我们要学习一个投影矩阵$W\in {\mathbb{R}}^{d\times m}$

我们用$W^T{S}_{t}W=I$约束子空间，使得子空间上的数据在统计上不相关。

如等式（5）所示，我们通过解决以下问题为每个数据分配邻居：
$$\begin{array}{rl}& \underset{S,W}{\min }\sum _{i,j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)\\ & \text{ s.t. }\forall i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I\end{array}\text{\hspace{1em}(34)}$$
类似地，为了使邻域分配是自适应的，使得数据中的连通分量是精确的c，我们对秩的S施加约束rank（LS）＝n− c

因此，我们提出了同时学习投影W和聚类的以下问题：
$$\begin{array}{rl}& \underset{S,W}{\min }\sum _{i,j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)\\ & \text{ s.t. }\forall i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I,\mathrm{rank}\left(L_S\right)=n-c\end{array}\text{\hspace{1em}(35)}$$

对问题35的优化

使用与2.1小节相同的技巧，我们知道解决问题（35）等同于解决以下问题
$$\begin{array}{rl}\underset{S,W,F}{\min }& \sum _{i,j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)+2\lambda Tr\left(F^T{L}_{S}F\right)\\ \text{ s.t. }& i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I,F\in R^{n\times c},F^{T}F=I\end{array}\text{\hspace{1em}(36)}$$
交替优化法：

S,W固定：

问题（36）变成问题（11），最优解F由对应于c个最小特征值的LS的c个特征向量构成。

F固定，36变成：
$$\begin{array}{rl}\underset{S,W,F}{\min }& \sum _{i,j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)+2\lambda \mathrm{Tr}\left(F^T{L}_{S}F\right)\\ \text{ s.t. }& \forall i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I\end{array}\text{\hspace{1em}(37)}$$

• 在37中，s固定：问题变为：
  $$\underset{W^T{S}_{t}W=I}{\min }\sum _{i,j=1}^n{\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}\text{\hspace{1em}(38)}$$
  根据等式6 可重写为：
  $$\underset{W^T{S}_{t}W=I}{\min }\mathrm{Tr}\left(W^T{X}^T{L}_{S}XW\right)\text{\hspace{1em}(39)}$$
  问题（39）的最优解W由$S_t^{-1}{X}^T{L}_{S}X$的m个最小特征值对应的m个特征向量构成(约束中有个$S_t$ 所以左边要加上逆)（我们假设数据X的零空间被移除，即St是可逆的）

• 在37中，w固定：问题变为：
  $$\begin{array}{rl}\underset{S}{\min }& \sum _{i,j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)+\lambda \sum _{i,j=1}^n||f_i-f_j|{|}_2^2{s}_{ij})\\ \text{ s.t. }& \forall i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I\end{array}\text{\hspace{1em}(40)}$$
  请注意，问题（40）在不同的i之间是独立的，因此我们可以针对每个i分别解决以下问题：
  $$\begin{array}{rl}\underset{s_j}{\min }& \sum _{j=1}^n\left({\Vert W^T{x}_i-W^T{x}_j\Vert }_2^2{s}_{ij}+\gamma s_{ij}^2\right)+\lambda \sum _{j=1}^n||f_i-f_j|{|}_2^2{s}_{ij})\\ \text{ s.t. }& \forall i,s_i^{T}1=1,0\le s_i\le 1,W^T{S}_{t}W=I\end{array}\text{\hspace{1em}(41)}$$
  记$d_{ij}^{wx}=||x_i-x_j|{|}_2^2,d_{ij}^f=||f_i-f_j|{|}_2^2,d_i^w\in {\mathbb{R}}^{n\times 1}$表示为第j个元素为$d_{ij}^w=d_{ij}^{wx}+\lambda d_{ij}^f$的向量。问题14可以写成向量的形式：
  $${\min }_{s_i^T\text{1}=1,0\le s_i\le 1}\sum _{j=1}^n||s_i+\frac{1}{2\gamma }{d}_i^w|{|}_2^2\text{\hspace{1em}(42)}$$
  这与等式（15）中的问题相同，可以用闭式解求解。

  算法2中总结了解决问题（35）的详细算法。我们还可以使用等式（33）来确定正则化参数$\gamma$