[深度之眼机器学习训练营第四期]K-means聚类

K-means聚类算法

聚类是一种无监督学习方法。在无监督学习中，训练集只包含$\{x^{(1)},x^{(2)},\cdots ,x^{(n)};x^{(i)}\in {\mathbb{R}}^d\}$，每个训练样本没有对应的标签$y^{(i)}$。$k\text{-means}$是一种常用的聚类算法。$k\text{-means}$首先随机地选择$k$个簇中心，然后通过每个样本与所有簇中心的距离不断地更新$k$个簇中心，直到算法收敛。整个算法的流程如下所示：

$$\begin{array}{rl}1.& \text{Initialize }\text{cluster centroids }{\mu }_1,{\mu }_2,\cdots ,{\mu }_k\in {\mathbb{R}}^d\text{ randomly}\\ 2.& \text{Repeat until convergence: {}\\ & \text{For every }i\text{, set}\\ & c^{(i)}:=\arg \underset{j}{\min }\Vert x^{(i)}-{\mu }_j{\Vert }^2\\ & \text{For each }j\text{, set}\\ & {\mu }_j:=\frac{{\sum }_{i=1}^n\{c^{(i)}=j\}{x}^{(i)}}{{\sum }_{i=1}^n\{c^{(i)}=j\}}\\ & \}\end{array}$$
其中内循环重复执行两个步骤：将每个训练样本$x^{(i)}$“分配”到离他最近的簇中心${\mu }_j$，以及将每个簇中心${\mu }_j$移动到分配给它的所有样本的均值（即中心）。

收敛性

那么$k\text{-means}$算法是不是保证一定收敛呢？答案是肯定的。考虑如下失真函数：
$$J(c,\mu )=\sum _{i=1}^n\Vert x^{(i)}-{\mu }_{c^{(i)}}{\Vert }^2$$
该函数衡量了每个训练样本$x^{(i)}$到分配给该样本的簇中心${\mu }_{c^{(i)}}$的距离平方。可以看出，$k\text{-means}$算法恰好是$J$的坐标下降。具体而言，$k\text{-means}$的内层循环在保持$\mu$固定的同时，相对于$c$反复最小化$J$；然后在保持$c$固定的同时，相对于$\mu$最小化$J$。 因此，$J$必须是单调递减的，此时$J$一定收敛。
然而，失真函数$J(c,\mu )$是一个非凸函数，因此$k\text{-means}$算法可能收敛到局部极小值。为了防止此类事件发生，我们可以多次运行$k\text{-means}$算法，然后选择失真函数值最小的那个。