OPTICS聚类

OPTICS聚类

Ordering Points To Identify Cluster Structure

1. DBSCAN算法的衍生算法
2. 引入可达距离，解决$\epsilon$参数确定的问题

定义

1. 样本点$x_i$的核心距离
   若样本点$x_i$为核心点，则其有核心距离，否则没有核心距离
   如下图，在指定$\epsilon$距离阈值和MinPts=4时，
   样本点$x_i$第一近邻点为本身(这里计入本身点)，第二近邻点为样本2，第三近邻点为样本3$(x_1)$，第四(MinPts)近邻点为样本4，也就是说第MinPts近邻点在样本点$x_i$的$\epsilon$邻域内，则样本点$x_i$必为核心点，且其核心距离为样本点$x_i$到第MinPts近邻点之间的距离，如图中$c(x_i)$
   
2. 样本点$x_j$到样本点$x_i$的可达距离
   只有样本点$x_i$为核心点时才被可达，否则这个可达距离不存在
   如上图样本点$x_i$为核心点，则其$\epsilon$邻域内的点$x_j$到$x_i$的可达距离为:
   $max(d_{ij},c(x_i))$
   $d_{ij}$为$x_i$，$x_j$之间的距离
   $c(x_i)$为核心点$x_i$的核心距离
   显然有
   $x_1$到$x_i$的可达距离$r(x_1)=c(x_i)$
   $x_2$到$x_i$的可达距离$r(x_2)=d_{i2}$

OPTICS算法流程

1. 对于样本集S，$m个样本，n个特征$：
   初始化所有点的可达距离为inf，$reach\_dist=array([np.inf]\ast m)$
   初始化根据可达距离从小到大排序的样本的列表全为0，$ordering=np.zeros(m,dtype=int)$
   初始化样本是否已处理的标记全为False，$processed=np.zeros(m,dtype=bool)$
2. 假设$\epsilon$为inf，根据参数MinPts计算出所有点核心距离，记core_dist，核心距离大于$\epsilon$阈值，则不存在核心距离用inf 表示
3. 从未处理的点中取当前可达距离最小的点$idx=np.argmin(reach\_dist)$，放入$ordering$第一个位置，并标记是否处理为True，$processed[idx]=True$，若当前$idx$样本具有核心距离，计算当前点$idx$与$processed$中为False的点之间的可达距离$rdist$，若$rdist$中的可达距离小于$reach\_dist$中对应的可达距离值，则更新替换为$rdist$中的值；若当前$idx$不具有核心距离(inf)，即不是核心点，则不处理
4. 重复3，取当前未处理的样本，即$processed=False$的样本，返回这些未处理的样本在$reach\_dist$中可达距离最小的一个样本点$idx$，加入$ordering$的第二个位置，并标记是否处理为True，$processed[idx]=True$. 是核心点则计算它与其他未处理的点的可达距离，否则不处理，直到所有的样本处理完，算法结束。

演示示例

有如下数据
$\begin{array}{c}x=\left[\begin{array}{cc}1& 3\\ 3& 3\\ 2& 0.2\\ 10& 0.8\\ 10.8& 1.4\\ 12& 0.8\end{array}\right]\end{array}$

Python实现OPTICS

百度网盘：https://pan.baidu.com/s/1UUgK-uPfWpRopJ_C1FZY9w
提取码：i4tn

Sklearn库实现OPTICS

import numpy as np
from sklearn.cluster import OPTICS
from matplotlib import pyplot as plt
#load data
x=np.loadtxt("optics_sample.txt")

#instantiate
optics=OPTICS(max_eps=np.inf,eps=3,min_samples=3,cluster_method="dbscan")
optics.fit(x)

#按照可达距离从小到大排序的样本点
optics.ordering_
#[0,1,2,3,4,5]
#样本的可达距离
rdist=optics.reachability_[optics.ordering_]

#可视化可达距离
plt.plot(range(x.shape[0]),rdist,marker="o",markeredgewidth=3,linestyle="-")
plt.title("sklearn-optics")
plt.grid()
plt.xlabel("index")
plt.ylabel("reach dist")
plt.show()

排序样本的可达距离，每一个低谷为一个聚类簇

可视化聚类样本点：

y_pred=optics.labels_
plt.scatter(x[:,0],x[:,1],s=50,c=y_pred,marker="^",edgecolors=None,linewidths=1,cmap="cool")
plt.title("cluster samples")
plt.grid()
plt.xlabel("f1")
plt.ylabel("f2")
plt.axis("equal")
plt.show()