谱聚类

谱聚类（spectral clustering）原理总结：

谱聚类（spectral clustering）是广泛使用的聚类算法，比起传统的K-Means算法，谱聚类对数据分布的适应性更强，聚类效果也很优秀，同时聚类的计算量也小很多，更加难能可贵的是实现起来也不复杂。在处理实际的聚类问题时，个人认为谱聚类是应该首先考虑的几种算法之一。下面我们就对谱聚类的算法原理做一个总结。

1. 谱聚类概述

谱聚类是从图论中演化出来的算法，后来在聚类问题中得到了广泛的应用。它的主要思想是把所有的数据看作空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重较低，距离越近权重越高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。

乍一看，这个算法的原理的确简单，但是要完全理解这个算法的话，需要对图论中的无向图，线性代数和矩阵分析都有一定的了解。下面我们就从这些基础知识开始，一步步学习谱聚类。

2. 谱聚类基础之一：无向权重图

对于一个图，我们一般用点的集合V和边的集合E来描述，即为G(V,E)。

对于有边连接的两个点$v_i,v_j$，$w_{i,j}>0$；对于没有边相连的两个点，$w_{i,j}=0$；由于我们是无向图，所以，$w_{i,j}=w_{j,i}$

对于图中的任意一个点$v_i$，它的度$d_i$定义为和它相连的所有边的权重之和，即：
$$d_i=\sum _{j=1}^n{w}_{ij}$$
利用每个点度的定义，我们可以得到一个nxn的度矩阵D，它是一个对角矩阵，只有主对角线有值，对应第i行的第i个点的度数，定义如下：

$$D=\left[\begin{array}{ccc}{d}_1& ...& ...\\ ...& d_2& ...\\ ...& ...& d_n\end{array}\right]$$

利用点和点之间的权重值，我们可以得到图的邻接矩阵W，除此之外，我们定义：
$$|A|：子集A中点的个数$$

$$vol(A)=\sum _{i\in A}{d}_i$$

3. 谱聚类基础之二：相似矩阵

如何得到邻接矩阵呢？方法有三类：$\in$-邻近法、K近邻法、全连接法。

• $\in$-邻近法：它设置了一个阈值$\in$，然后用欧式距离$s_{i,j}$度量任意两点$x_i，x_j$的距离。定义邻接矩阵W如下：

$$w_{i,j}=\{\begin{array}{ll}0,& s_{ij}>\in \\ \in ,& s_{ij}<=\in \end{array}$$

从上式可见，两点间的权重要不就是$\in$，要不就是0，没有其他的信息了。距离远近的度量很不精确，因此在实际生活中，很少用该方法。

• K近邻法：利用KNN算法遍历所有的样本点，取每个样本最近的K个点作为近邻，只有和样本距离最近的K个点之间的$w_{ij}>0$，但是这种方法会造成邻接矩阵是非对称的，我们后面的算法需要堆成邻接矩阵。为了解决这个问题，一般采取下面两种方法。

**第一种方法是：**只要一个点在另一个点的K近邻中，则保留$x_{ij}$
$$w_{ij}=w_{ji}=\{\begin{array}{ll}0& x_i\notin KNN(x_j)and{x}_j\notin KNN(x_i)\\ exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})& x_i\notin KNN(x_j)or{x}_j\notin KNN(x_i)\end{array}$$
**第二种方法是：**必须两个点互为K近邻，则保留$x_{ij}$
$$w_{ij}=w_{ji}=\{\begin{array}{ll}0& x_i\notin KNN(x_j)or{x}_j\notin KNN(x_i)\\ exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})& x_i\notin KNN(x_j)and{x}_j\notin KNN(x_i)\end{array}$$

• 全连接法：第三种方法所有点之间的权重值都大于0，因此称为全连接法。可以选择不同的核函数来定义边权重，常用的多项式核函数有高斯核函数和sigmoid核函数，高斯核RBF定义如下：

$$w_{ij}=s_{ij}=exp(-\frac{||x_i-x_j|{|}^2}{2{\theta }^2})$$

在实际的应用中，使用第三种全连接法来简历邻接矩阵是最普遍的，而在全连接法中使用高斯径向核RBF是最普遍的。

4. 谱聚类基础之三：拉普拉斯矩阵

拉普拉斯矩阵（Graph Laplacians）和后面要介绍的算法息息相关，它的定义很简单：
$$L=D-W$$
其中，D是度矩阵，W是邻接矩阵。

拉普拉斯矩阵的性质：

1. 它由D和W矩阵构成，所以L是对称矩阵。
2. 由于是对称矩阵，则它的所有的特征值都是实数。
3. 对于任意的向量f，我们有

$$f^{T}Lf=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$$

利用拉普拉斯矩阵的定义，证明过程如下：
$$f^{T}Lf=f^{T}Df-f^{T}Wf=\sum _{i=1}^n{d}_i{f}_i^2-\sum _{i,j=1}^n{w}_{ij}{f}_i{f}_j$$

$$=\frac{1}{2}(\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i,j=1}^n{w}_{ij}{f}_i{f}_j+\sum _{j=1}^n{d}_j{f}_j^2)=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$$

4. 拉普拉斯矩阵是半正定的，且对应的n个实数特征值都大于等于0，，且最小的特征值为0。

5. 谱聚类基础之四：无向图切图

对于无向图G的切图，我们的目标是将图G(V,E)切成相互没有连接的k个子图，每个子图点的集合是：$A_1,A_2,...,A_k$，他们满足$A_i\cap A_j=0$，且$A_1\cup A_2\cup ...\cup A_k=V$。

对于任意两个子图点的集合A、B，我们定义A和B之间的切图权重为：
$$W(A,B)=\sum _{i\in A,j\in B}{w}_{ij}$$
那么对于我们k个子图间的集合：$A_1,A_2,...,A_k$，我们定义切图cut为：
$$cut(A_1,A_2,...,A_k)=\frac{1}{2}\sum _{i=1}^{k}W(A_i,\overline{A_i})$$
其中$\overline{A_i}$为$A_i$的补集，意思是除$A_i$子集外其他V的子集的并集。

那么如何切图让子图内的点权重和高，子图间的点权重和低呢？一个自然的想法就是最小化$cut(A_1,A_2,...,A_k)$，但是可以发现，这种方法存在很大的问题，如下图

我们选择一个权重最小的边缘的点，比如C和H之间进行cut，这样确实可以最小化，但是却不是最优的子图，那么如何找到最优切图呢？请看下一节。

6. 谱聚类之切图聚类

为了避免最小化切图方式导致的效果不佳，我们需要对每个子图的规模做出限定，一般来说，有两种切图方式：RatioCut、Ncut。下面我们分别加以介绍：

6.1 RatioCut切图

对每个切图，不光考虑最小化$cut(A_1,A_2,...,A_k)$，它还同时考虑最大化每个子图点的个数，即：
$$RatioCut(A_1,A_2,...,A_k)=\frac{1}{2}\sum _{i=1}^k\frac{W(A_i,\overline{A_i})}{|A_i|}$$

$$|A|：子集A中点的个数$$

**具体方法：**引入指示向量$h_j\in (h_1,h_2,...,h_k),j=1,2,...k$，对于任意一个向量$h_j$，它是一个n维向量（n为样本数），我们定义$h_{ij}$为：
$$h_{ij}=\{\begin{array}{ll}0& v_i\notin A_j\\ \frac{1}{\sqrt{|A_j|}}& v_i\in A_j\end{array}$$
那么我们对于$h_i^{T}L{h}_i$有：
$$h_i^{T}L{h}_i=\frac{1}{2}\sum _{m=1}\sum _{n=1}{w}_{mn}(h_{im}-h_{in}{)}^2$$

$$=\frac{1}{2}\sum _{m\in A_i}\sum _{n\notin A_i}{w}_{mn}(\frac{1}{\sqrt{|A_j|}}-0{)}^2=\frac{1}{2}\sum _{m\notin A_i}\sum _{n\in A_i}{w}_{mn}(0-\frac{1}{\sqrt{|A_j|}}{)}^2$$

$$=\frac{1}{2}\sum _{m\in A_i}\sum _{n\notin A_i}{w}_{mn}\frac{1}{|A_j|}=\frac{1}{2}\sum _{m\notin A_i}\sum _{n\in A_i}{w}_{mn}\frac{1}{|A_j|}$$

$$=\frac{1}{2}(cut(A_i,\overline{A_i})\frac{1}{|A_i|}+cut(\overline{A_i},A_i)\frac{1}{|A_i|})=\frac{cut(A_i,\overline{A_i})}{|A_i|}$$

可以看出，对于某一个子图i，它的RatioCut对应于$h_i^{T}L{h}_i$，那么我们的k个子图呢？对应的RatioCut的表达式是：
$$RatioCut(A_1,A_2,...,A_k)=\sum _{i=1}^k{h}_i^{T}L{h}_i=\sum _{i=1}^k(H^{T}LH{)}_{ii}=tr(H^{T}LH)$$
其中，$tr(H^{T}LH)$为矩阵的迹，也就是说，我们的RatioCut切图，实际上就是最小化我们的$tr(H^{T}LH)$，则我们的切图目标为:
$$argmin(tr(H^{T}LH))s.t.H^{T}H=I$$
注意到：H矩阵里的每一个指示向量都是n维的，向量种每个变量的取值有两种，就有$2^n$种取值，有k个子图的话就有k个指示向量，共有$k{2}^n$种H，因此找到满足上面最优化的目标是一个NP难的问题，那么是不是就没有办法了呢？

注意观察$tr(H^{T}LH)$中每一个优化子目标$h_i^{T}L{h}_i$,其中$h_i$是单位正交基， L为对称矩阵，此时$h_i^{T}L{h}_i$的最大值为L的最大特征值，最小值是L的最小特征值。如果你对主成分分析PCA很熟悉的话，这里很好理解。在PCA中，我们的目标是找到协方差矩阵（对应此处的拉普拉斯矩阵L）的最大的特征值，而在我们的谱聚类中，我们的目标是找到目标的最小的特征值，得到对应的特征向量，此时对应二分切图效果最佳。也就是说，我们这里要用到维度规约的思想来近似去解决这个NP难的问题。

对于$h_i^{T}L{h}_i$，我们的目标是找到最小的L的特征值，而对于$tr(H^{T}LH)={\sum }_{i=1}^k{h}_i^{T}L{h}_i$，则我们的目标就是找到k个最小的特征值，一般来说，k远远小于n，也就是说，此时我们进行了维度规约，将维度从n降到了k，从而近似可以解决这个NP难的问题。

通过找到L的最小的k个特征值，可以得到对应的k个特征向量，这k个特征向量组成一个nxk维度的矩阵，即为我们的H。一般需要对H矩阵按行做标准化，即
$$h_{ij}^{\ast }=\frac{h_{ij}}{({\sum }_{t=1}^k{h}_{it}^2{)}^{1/2}}$$
由于我们在使用维度规约的时候损失了少量信息，导致得到的优化后的指示向量h对应的H现在不能完全指示各样本的归属，因此一般在得到nxk维度的矩阵H后还需要对每一行进行一次传统的聚类，比如使用K-Means聚类。

6.2 Ncut切图

对每个切图，不光考虑最小化$cut(A_1,A_2,...,A_k)$，它还同时考虑最大化每个子图点的个数，即：
$$Ncut(A_1,A_2,...,A_k)=\frac{1}{2}\sum _{i=1}^k\frac{W(A_i,\overline{A_i})}{vol(A_i)}$$

$$vol(A)=\sum _{i\in A}{d}_i$$

**具体方法：**引入指示向量$h_j\in (h_1,h_2,...,h_k),j=1,2,...k$，对于任意一个向量$h_j$，它是一个n维向量（n为样本数），我们定义$h_{ij}$为：
$$h_{ij}=\{\begin{array}{ll}0& v_i\notin A_j\\ \frac{1}{\sqrt{vol(A_j)}}& v_i\in A_j\end{array}$$
那么我们对于$h_i^{T}L{h}_i$有：
$$h_i^{T}L{h}_i=\frac{1}{2}\sum _{m=1}\sum _{n=1}{w}_{mn}(h_{im}-h_{in}{)}^2$$

$$=\frac{1}{2}\sum _{m\in A_i}\sum _{n\notin A_i}{w}_{mn}(\frac{1}{\sqrt{vol(A_i)}}-0{)}^2=\frac{1}{2}\sum _{m\notin A_j}\sum _{n\in A_j}{w}_{mn}(0-\frac{1}{\sqrt{vol(A_j)}}{)}^2$$

$$=\frac{1}{2}\sum _{m\in A_i}\sum _{n\notin A_i}{w}_{mn}\frac{1}{vol(A_i)}+\frac{1}{2}\sum _{m\notin A_j}\sum _{n\in A_j}{w}_{mn}\frac{1}{vol(A_j)}$$

$$=\frac{1}{2}(cut(A_i,\overline{A_i})\frac{1}{vol(A_i)}+cut(\overline{A_i},A_i)\frac{1}{vol(A_i)})=\frac{cut(A_i,\overline{A_i})}{vol(A_i)}$$

可以看出，对于某一个子图i，它的Ncut对应于$h_i^{T}L{h}_i$，那么我们的k个子图呢？对应的Ncut的表达式是：
$$Ncut(A_1,A_2,...,A_k)=\sum _{i=1}^k{h}_i^{T}L{h}_i=\sum _{i=1}^k(H^{T}LH{)}_{ii}=tr(H^{T}LH)$$
但是此时我们的$H^{T}H不等于I$，推导如下：
$$h_i^{T}D{h}_i=\sum _{j=1}^n{h}_{ij}^2{d}_j=\frac{1}{vol(A_i)}\sum _{j\in A_i}{d}_j=\frac{1}{vol(A_i)}vol(A_i)=1$$
其中，$tr(H^{T}LH)$为矩阵的迹，也就是说，我们的Ncut切图，实际上就是最小化我们的$tr(H^{T}LH)$，则我们的切图目标为:
$$argmin(tr(H^{T}LH))s.t.H^{T}DH=I$$
我们令$H=D^{-1/2}F$，可以得到$F^{T}F=I$，也就是优化目标变成了：
$$argmin(tr(F^T{D}^{-1/2}FL{D}^{-1/2}F))s.t.F^{T}F=I$$
可以发现这个式子和RatioCut基本一致，只是中间的L变成了$D^{-1/2}L{D}^{-1/2}$。这样我们就可以继续按照RatioCut的思想，求出$D^{-1/2}L{D}^{-1/2}$的最小的前k个特征值，然后求出对应的特征向量，并标准化，得到最后的特征矩阵F,最后对F进行一次传统的聚类（比如K-Means）即可。

一般来说， $D^{-1/2}L{D}^{-1/2}$相当于对拉普拉斯矩阵LL做了一次标准化，即：
$$\frac{L_{ij}}{\sqrt{d_i\ast d_j}}$$

7. 谱聚类算法流程

铺垫了这么久，终于可以总结下谱聚类的基本流程了。一般来说，谱聚类主要的注意点是邻接矩阵的生成方式、切图的方式、以及最后的聚类方法。

最常用的邻接矩阵是基于高斯核距离的全连接方式，最常用的切图方式是Ncut，最常用的聚类方法是Kmeans方法。下面以Ncut总结谱聚类算法流程。

**输入：**样本集$D=(x_1,x_2,...,x_n)$，相似矩阵的生成方式，降维后的维度k1,聚类方法，聚类后的维度k2。

**输出：**簇划分$C(c_1,c_2,...,c_{k2})$。

1. 生成邻接矩阵W。
2. 构建度矩阵D。
3. 计算拉普拉斯矩阵L。
4. 构建标准化后的拉普拉斯矩阵$D^{-1/2}L{D}^{-1/2}$。
5. 计算$D^{-1/2}L{D}^{-1/2}$最小的k1个特征值和所对应的特征向量f。
6. 将各自对应的特征向量f组成的矩阵按行标准化，最终组成$n\ast k_1$维的特征矩阵F。
7. 对F中的每一行作为一个k1维的样本，共n个样本，用输入的聚类方法进行聚类，聚类维数是$k_2$。
8. 得到簇划分$C(c_1,c_2,...,c_{k2})$。

8. 谱聚类算法总结

谱聚类算法是一个使用起来简答，但是讲清楚却不是那么容易的算法，它需要你有一定的数学基础。如果你掌握了谱聚类，相信你会对矩阵分析、图论有更深入的理解，同时对降维里的主成分分析也会加深理解。

下面总结谱聚类算法的优缺点：

优点

• 谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效，这点Kmeans很难做到。
• 由于使用了降维，因此在处理高维数据聚类时的复杂度比传统聚类算法好。

缺点

• 如果最终聚类的维度非常高，则由于降维的幅度不够，谱聚类的运行速度和最后的聚类效果均不好。