Subspace Clustering详解（附带CLIQUE算法详解）

Subspace Clustering详解

第二十四次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇作为密度聚类算法族的第三篇，主要是介绍一种用来发现子空间中的簇的算法——Subspace Clustering，并对该类算法中最具代表性的CLIQUE（Clustering in quest）算法进行介绍，其他密度聚类算法的链接可以在《DBSCAN详解（密度聚类算法开篇）》这篇文章的最后找到。

子空间聚类（Subspace Clustering）

  在聚类任务中，有时考虑数据集的所有属性会降低聚类效率和簇的有效性，因为样本在某些属性上存在真正的簇划分，而在其他属性上则是随机分布的，这时在数据集高维空间中的低维子空间中进行聚类就十分重要了，而且不同的子空间会产生不同的簇划分。以不同温度、风速和太阳辐射下的臭氧含量为例，如下图所示不同颜色表示臭氧含量的不同

图1 不同温度、风速和太阳辐射下的臭氧含量

下面在三个不同的子空间观察这些数据，可以看出在这些空间中数据分布各有特点，有些空间中的数据甚至看不出明确的簇

图2 不同特征子空间中的数据

  上述例子展示了不同特征子空间中的数据所呈现的不同特点，下面用一个更加明确的例子来展示子空间聚类的效果，如下图所示，在三维空间中存在三个簇分别标记为菱形、正方形和三角形，还有一些看似随机分布的被标记为圆形的样本，下面采用等宽法将每个特征划分为20个区间，每个区间的宽度为0.1，由于每个网格单元是等体积（面积）的，因此单元中的样本点数即单元密度，下面将邻接的稠密单元合并为一个簇，以一维空间下的属性$x$为例，如图（4）所示可以识别出三个簇

图3 子空间聚类

图4 关于属性x的分布直方图

  上述例子阐释了两个道理，第一，一个点集（如上圆形点）在整个属性空间上可能不能形成簇，但是在子空间中却可能形成簇，第二，存在于整个属性空间（甚至子空间）中的簇会作为低维空间中的簇出现。因此，往往需要在子空间中发现簇，而这些簇可能是高维空间中的簇的投影，但是发现低维空间中的簇正是这种聚类算法的目的。

CLIQUE（Clustering in quest）聚类

  CLIQUE聚类是在1998年由Rakesh Agrawal、Johannes Gehrke等人提出的（原始文献见《Automatic Subspace Clustering of High Dimensional Data for Data Mining Applications》），一种子空间聚类方式，并且应用了基于网格的聚类方法，该算法主要具有以下优点：（1）可伸缩性（2）可以发现在数据集高维空间中子空间的簇（3）聚类模型具有很好的解释性（4）没有对输入数据的次序依赖性（5）不需要事先假定数据集满足某种概率分布。与DBSCAN等基于密度的聚类算法不同的是，CLIQUE算法并不关注整个高维空间，因此它可以更有效的得到原始数据空间的子空间的簇。CLIQUE算法步骤分为一下三部分：
  1) 识别包含簇的子空间；
  2) 识别这些簇；
  3) 产生这些簇的 “最小描述”。
其中，最小描述（minimal description）是指这些簇不重复包含任意稠密网格单元，下面分别对上述部分进行介绍。
(1) 识别包含簇的子空间
  识别包含簇的子空间的困难在于如何寻找子空间中的稠密网格单元，最简单的方法是基于子空间中每个网格单元所含有的样本点数，来绘制所有子空间的样本点分布直方图，然后根据这些直方图进行判断。显而易见的是，这种方法并不适用于高维数据集，因为子空间的数量随维度的增加呈指数级增长。Rakesh Agrawal在本文中介绍了另一种“由下至上”（bottom-up）的识别方法，这种方法的理论依据是簇评判的单调性原则。
  簇评判的单调性原则：如果一个样本点集（簇）$S$是$k$维空间的一个簇，那么$S$是该空间的任意$k-1$维子空间中某个簇的一部分。证明如下，假设$S$是$k$维空间的一个簇，由基于网格聚类的原理可知，这个簇是由多个稠密且邻接的网格单元组成的，在任意子空间的某个对应网格中必定存在所有的这些点，因此这个子空间的网格也是稠密的，而$S$中这些稠密网格的临近性在子空间中也会得到保持。
  这种算法是“逐级执行”的，他首先遍历一次原始数据集，得到$1$维稠密网格单元，当得到$k-1$维稠密网格单元后，就可以通过下图（图5）所示的步骤产生候选的$k$维稠密网格单元，得到候选的$k$维稠密网格单元后，再遍历一次数据集来确定真正的$k$维稠密网格单元，重复上述操作直到不再产生候选的稠密单元为止。

图5 候选产生步骤的伪代码

  上图所示的步骤将所有$k-1$维稠密网格单元的集合$D_{k-1}$作为参数，最终得到一个包含所有$k$维稠密网格单元集合的超集$C_k$，其中，$u_i$代表第$i$个稠密的$k-1$维网格单元，$u_i.a_j$代表$u_i$的第$j$个维，而$u_i.h_j$和$u_i.l_j$分别代表$u_i$所在的第$j$个维的网格上界和下界。$where$中的伪代码用于筛选两个相似的$k-1$维稠密网格单元，他们在$k-2$个维度上是相同的，然后将他们组成一个候选的$k$维稠密网格单元，在这里我们可以看出，为了不会产生重复的候选稠密网格单元，在筛选条件的最后一行使用的是$u_1.a_{k-1}<u_2.a_{k-1}$而不是$u_1.a_{k-1}̸=u_2.a_{k-1}$，要注意的是，这里的维度比较是依赖于下标的有次序的比较，而不是交叉比较。
  上述步骤与Apriori算法产生候选频繁项集的方法类似，在重新遍历一次数据集来找到$C_k$中的真正稠密单元之前，由簇评判的单调性原则可知，在得到包含所有$k$维稠密网格单元集合的超集$C_k$后，要先删除集合中那些在任何一个$k-1$维子空间中不稠密的$k$维网格单元，之后再进行数据集的遍历。
  这种使用先验知识约束来缩小搜索空间的方法与Apriori算法中寻找频繁项集的方法类似，他具有可伸缩性的特点，其时间复杂度是$O\left(c^k+mk\right)$，$c$是一个常数，$k$是所有稠密单元的最大维度，$m$是数据集的样本点个数，通过特定的手段可以减少遍历数据集的次数。与一般的基于密度的聚类方法相同，当评判网格稠密与否的阈值$\tau$设置的过小时，维数较低的子空间将会产生更多地稠密单元，随着这些被误判为包含簇的子空间数目上升，搜索空间将会以指数级增长。为了应对这种问题，文中还提出了一种基于“最小描述长度”（MDL）原则的改进方法，这种方法通过只关注那些“有趣的”子空间来大大减小搜索空间。
(2) 识别稠密单元产生的簇
  这里簇识别的方法与基于网格的聚类相同，都是将邻接的稠密网格单元结合成为一个簇，具体的说，基于“深度优先原则”，先从$k$维稠密单元集合$C_k$（伪代码中用$u$表示）中随机选出一个稠密的网格单元，并将它单独初始化为一个簇，之后遍历$C_k$将与该单元邻接的稠密单元划分到这个簇中，如果遍历完成后仍存在没有被划分的单元，那么在这些单元中随机再取出一个作为新的簇，然后重复上一步骤，直到所有的单元均有各自的簇隶属为止。该算法的时间复杂度为$O\left(2nk\right)$，$n$为$C_k$的大小，如果采用哈希树等数据结构，会得到更快的搜索速度，伪代码如下图所示。

图6 识别簇的伪代码

(3) 产生簇的“最小描述”
  这一部分是全文的核心的核心，他决定了最后得到的聚类模型的可解释性，该过程将某个$k$维子空间$S$中的多个互斥的簇（稠密网格单元集合）未作为输入，输出的是簇的“最小描述”，这个“最小描述”是一个区域（region）的集合$\mathfrak{R}$，其中每个区域$R\in \mathfrak{R}$都包含在稠密网格单元集合$C_k$中，并且$C_k$中的每个稠密单元都要至少属于这些区域中的一个，这显然是一个NP-hard问题。Rakesh Agrawal在本文中给出的方法具体分为两步：
  1) 使用“贪心增长算法”，获得覆盖每个簇的最大区域；
  2) 通过丢弃被重复覆盖的网格单元，来得到“最小描述”。
下面分别对这两步进行详细描述，
  a) 获得覆盖每个簇的最大区域
  在这一步中，我们将簇中的某个稠密单元作为初始区域，然后在某一个维度上，基于其（左、右）邻接单元将该区域进行延伸，延伸完成后，在另一个维度上，基于该区域中的所有稠密单元的邻接单元对该区域做进一步延伸，重复上述步骤直到遍历所有的$k$个维度，然后对该簇中没有被包含到对应区域的单元继续重复上术操作，直到没有孤立的网格单元为止，需要注意的是，上述操作形成的区域是一个空间线性多边体。下面举一个2维空间的实例来进行说明（如图7所示），假设$f_1$、$f_2$为该子空间的两个维度，用灰色代表稠密单元，其中稠密单元$u$是我们选择的初始区域，首先将$u$在维度$f_1$上做延伸得到区域$A$，然后基于区域$A$中每个单元，对该区域在维度$f_2$上做进一步延伸得到区域$B$。完成上述步骤后，可以注意到单元$w$没有被包含到该区域中，这时可以对$w$重复上述操作。

图7 贪心增长算法实例

  可以证明在最坏的情况下，该算法的时间复杂度是$O\left(n^{2\left(k-1\right)/k}\right)$，这里$n$是该簇所含稠密单元的数量，$k$是该簇所在子空间的维数，这里的“最坏情况”指的是，对于$n$个稠密单元，这些单元组成的邻接区域含有$O\left(n^{\left(k-1\right)/k}\right)$个“角”，下面举一个2维空间的实例（如图8），可以看出该算法在这个空间中的时间复杂度为$O\left(n\right)$。

图8 2维空间下的最坏情况分析

  b) 得到“最小描述”
  这里文中推荐使用一种启发式的移除冗余单元的方法，具体来说就是首先找到最小的（包含的稠密单元数量最少）最大区域，如果这个最大区域中的每个单元均在其他区域中重复出现过，那么就从该簇的最大区域集合中移除该区域，直到找不到下一个类似区域为止，该算法的时间复杂度是$O\left(n^2\right)$。由于簇的每个区域都可以用一组基于子空间维度的不等式来表示，因此最终通过这些不等式来描述整个簇。

---

参考资料

【1】《机器学习》周志华
【2】《数据挖掘导论》
【3】Agrawal R, Gehrke J, Gunopulos D, et al. Automatic subspace clustering of high dimensional data for data mining applications[C]// ACM SIGMOD International Conference on Management of Data. ACM, 1998:94-105.