论文笔记: 可解释神经聚类 (鹏鹏专用)

摘要: 分享对论文的理解, 原文见 Xi Peng, Yunfan Li, Ivor W. Tsang, Hongyuan Zhu, Jiancheng Lv, Joey Tianyi Zhou,
XAI Beyond Classification: Interpretable Neural Clustering, Journal of Machine Learning Research 22 (2021) 1–27.

1. 符号系统

符号风格按照本贴作者的习惯有所修改.

符号	涵义	备注
$\mathbf{X}=\{{\mathbf{x}}_1,\dots ,{\mathbf{x}}_n\}$	数据集	$n$ 为实例个数
${\mathbf{x}}_i=(x_{i1},\dots ,x_{im})$	对象/实例	$m$ 为特征个数/数据维度
$\mathcal{S}=\{{\mathbf{S}}_1,\dots ,{\mathbf{S}}_k\}$	聚类结果/数据集划分	$k$ 为簇数
${\mathbf{S}}_i=\{{\mathbf{s}}_{i1},\dots ,{\mathbf{s}}_{i{n}_i}\}\subset \mathbf{X}$	第 $i$ 簇	${\sum }_{i=1}^k{n}_i=n$
$\mathbf{\Omega }=({\omega }_1,\dots ,{\omega }_k)$	聚类中心点
${\omega }_i=({\omega }_{i1},\dots ,{\omega }_{im})$	${\omega }_i=\frac{1}{n_i}{\sum }_{j=1}^{n_i}{\mathbf{s}}_{ij}$	${\mathbf{S}}_i$ 的均值

下面给出一个数据集:

0.2, 0.3
0.1, 0.4
0.5, 0.6
0.6, 0.8
0.7, 0.2
0.9, 0.3

其中, $n=6$, $m=2$. (鹏鹏作业: 做一个 $n=20$ 的人造数据集.)

2. $k$Means 算法

$k$Means 的目标是求一个最优聚类方案 (划分)
$${\mathcal{S}}^{\ast }=\underset{\mathcal{S}}{\mathrm{argmin}}\sum _{j=1}^k\sum _{{\mathbf{x}}_i\in {\mathbf{S}}_j}\Vert {\mathbf{x}}_i-{\mathbf{\Omega }}_j{\Vert }_2^2.\text{\hspace{1em}(1)}$$
换言之, 就是最大化各簇的"内聚性"之和.
为尽可能降低理解难度, 解释如下:
$$\Vert {\mathbf{x}}_i-{\mathbf{\Omega }}_j{\Vert }_2^2=\sum _{l=1}^m(x_{il}-{\omega }_{jl}{)}^2=(x_{i1}-{\omega }_{j1}{)}^2+\cdots +(x_{im}-{\omega }_{jm}{)}^2$$

$k$Means 算法描述如下:

• Step 1. 随机选择 $k$ 个数据点, 获得 $\mathbf{\Omega }$;
• Step 2. 对于任意 ${\mathbf{x}}_i\in \mathbf{X}$, 计算它到 $\mathbf{\Omega }$ 中各点的距离, 并确定其簇编号为
  $$c({\mathbf{x}}_i)=\underset{j}{\mathrm{argmin}}\Vert {\mathbf{x}}_i-{\omega }_j{\Vert }_2^2;\text{\hspace{1em}(2)}$$
  由此构建 ${\mathbf{S}}_j=\{{\mathbf{x}}_i|c({\mathbf{x}}_i)=j\}$.
• Step 3. 计算各簇的新中心集合 ${\mathbf{\Omega }}^{\prime }=({\omega }_1^{\prime },\dots ,{\omega }_k^{\prime })$, 其中
  $${\omega }_i^{\prime }=\frac{1}{n_i}\sum _{j=1}^{n_i}{\mathbf{s}}_{ij};\text{\hspace{1em}(3)}$$
• Step 4. 如果 ${\mathbf{\Omega }}^{\prime }=\mathbf{\Omega }$, 则表示收敛, 算法结束; 否则转到 Step 2.

该算法的 Java 代码见 第 56 天: kMeans 聚类.

• 问题1: $k$Means 能保证收敛到全局最优解吗?
  回答: 不能. 不同的初始聚类中心选择, 可能导致不同的聚类结果.
  (鹏鹏作业: 根据所构造例子, 用 $k$Means 获得两种聚类结果, 并展示其过程.)
• 问题2: 优化问题 (1) 式是一个困难问题吗?
  回答: 它是一个 NP 完全问题.
  (鹏鹏作业: 找到相应的证明, 可以不去手动证明, 贴图即可.)
• 问题 3: 簇确定后, 为什么聚类中心点的计算为 (3) 式, 用其它的点会不会导致 (1) 式更小?
  (鹏鹏作业: 自己去证明.)