秋招材料整理——聚类

一、性能度量

• 非监督学习，无类别标记。试图将样本划分为若干个不相交子集，称为“簇”
• 性能度量：“簇内相似度高”，“簇间相似度低”

  • 外部指标：将聚类结果$C$与某个“参考模型”$C\ast$进行比较；预测类别$\lambda$，参考类别${\lambda }^{\ast }$
    $a=|SS|,SS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$
    $b=|SD|,SD=\{(x_i,x_j)|{\lambda }_i̸={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}$
    $c=|DS|,DS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }̸={\lambda }_j^{\ast },i<j\}$
    $d=|DD|,DD=\{(x_i,x_j)|{\lambda }_i̸={\lambda }_j,{\lambda }_i^{\ast }̸={\lambda }_j^{\ast },i<j\}$

    • 三种系数均 $\in [0,1]$，值越大越好
    • Jaccard系数
      $JC=\frac{a}{a+b+c}$
    • FM指数
      $FMI=\sqrt{\frac{a}{a+b}\ast \frac{a}{a+c}}$
    • Rand指数
      $RI=\frac{a+d}{a+b+c+d}$

  • 内部指标：直接考察聚类结果而不利用任何参考模型：$dist()$距离，$\mu$中心点，共$c$个点
    簇C内样本间平均距离
    $$avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1\le i<j\le |C|}dist(x_i,x_j)$$
    簇C内样本间最远距离
    $$diam(C)=\underset{1\le i<j\le |C|}{\max }dist(x_i,x_j)$$
    簇Ci,Cj最近样本间距离
    $$d_{min}(C_i,C_j)=\underset{x_i\in C_i,x_j\in C_j}{\min }dist(x_i,x_j)$$
    簇Ci,Cj中心点间距离
    $$d_{cen}(C_i,C_j)=dist(u_i,u_j)$$

    • DB指数
      $$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j̸=i}{\max }(\frac{avg(C_i)+avg(C_j)}{d_{cen}(u_i,u_j)})$$
    • Dunn指数
      $$DI=\underset{1\le i\le k}{\min }\{\underset{j̸=i}{\min }(\frac{d_{min}(C_i,C_j)}{{\max }_{1\le l\le k}diam(C_l)})\}$$

二、原型聚类：

用原型向量刻画聚类结构的不同

• 距离：闵可夫斯基距离（p范数）
  • $p==2$时，欧氏距离
  • $p==1$时，曼哈顿距离

1. k-means：通过最小化均方差，将数据集分成k个“簇”

• 随机初始化$k$个聚类中心
  迭代：
  • 将样本分到距离最近的聚类中心
  • 更新聚类中心：取所有点的均值；点数为0的中心删掉

2.学习向量量化(LVQ)：假设数据样本带有类别标记

• 随机初始化一组原型向量$p_i$
  迭代：
  • 计算样本到各$p_i$的距离
  • 找出到每个样本最近的$p_i$，更新$p_i$向该样本靠拢
• 将样本分到距离最近的$p_i$

3.高斯混合聚类：用概率模型表达聚类原型，簇划分由原型对应的后验概率确定

1）x的高斯分布概率密度函数
$$p(x)=\frac{1}{(2\pi {)}^{\frac{n}{2}}(|\sum |{)}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(x-\mu {)}^T(\sum {)}^{-1}(x-\mu )}$$

记为$p(x|\mu ，\Sigma )$（$\Sigma$协方差）
2）高斯混合分布：
$$p(x)=\sum _{k=1}^K{\alpha }_i\ast p(x|{\mu }_i,\sum i)$$

3）高斯混合分布生成样本过程：先根据αi定义的先验分布选择高斯混合成分，αi为选择第i个混合成分的概率，然后根据被选择的混合成分的概率密度函数进行采样，生成样本
4）高斯混合成分zj的先验概率p(zj=i)=αi,根据贝叶斯定理，zj的后验分布
$${\gamma }_{ji}=PM(z_j=i|x_j)$$

$$=\frac{P(z_j=i)\ast PM(x_j|z_j=i)}{PM(x_j)}$$

$$=\frac{{\alpha }_i\ast p(x_j|{\mu }_i,{\sum }_i)}{{\sum }_{l=1}^k{\alpha }_l\ast p(x_j|{\mu }_l,{\sum }_l)}$$

Xj的簇标记${\lambda }_j=arg\max {\gamma }_{ji}$
5）高斯混合分布中$（{\alpha }_i，{\mu }_i，{\Sigma }_i）$的求解：
用极大似然估计，EM算法迭代优化求解，分别对${\mu }_i，{\Sigma }_i$求导$=0$，此时就只剩${\alpha }_i$了，除了要最大化似然函数，还要满足${\alpha }_i\ge 0，{\sum }_{l=1}^k{\alpha }_l=1$，用拉格朗日，最终，${\alpha }_i=\frac{1}{m}{\sum }_{j=1}^m{\gamma }_{ji}$

高斯混合模型的EM算法：

• E步：在每步迭代中，先根据当前参数来计算每个样本属于每个高斯成分的后验概率${\gamma }_{ji}$
• M步：根据前面公式更新$（α_i，μ_i，Σ_i）

6）算法：

• 初始化$（{\alpha }_i，{\mu }_i，{\Sigma }_i）$
• 计算每一个样本$x_j$的后验概率${\gamma }_{ji}$
• 更新$（{\alpha }_i，{\mu }_i，{\Sigma }_i）$
• 将样本划入相应簇

三、层次聚类

• 试图在不同层次对数据集进行划分，从而形成树形聚类结构：先将数据集中的每个样本看做一个聚类簇，然后找出距离最近的两个合并，直到达到k个
• 算法：
  1）将每一个样本初始化为一个聚类簇
  2）初始化距离矩阵
  3）找出距离最近的两个聚类簇，合并
  4）更新矩阵

四、DBSCAN密度聚类：剔除异常数据

• 假设聚类结构能通过样本样本分布的紧密程度确定，从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇
• 一组概念：参数$ϵ，MinPts$（个数）
  1）$ϵ-$邻域：$N_{ϵ}(x_j)=x_i\in D|distance(x_i,x_j)\le ϵ$
  2）核心对象：$|Nϵ(x_j)|\ge MinPts$，则$x_j$是核心对象。　
  3）密度直达：若$x_i$在$x_j$的$ϵ-$邻域中，且$x_j$是核心对象，则$x_i$由$x_j$密度直达.不满足对称性
  4）密度可达：对于$x_i$和$x_j$,如果存在样本样本序列$p_1,p_2,...,p_T$满足$p_1=x_i,p_T=x_j$ 且$p_{t+1}$由$p_t$密度直达，则称$x_j$由$x_i$密度可达。即，密度可达满足传递性。不满足对称性
  5）密度相连： $x_i$和$x_j$,若存在核心对象$x_k$，使$x_i$和$x_j$均由$x_k$密度可达，则称$x_i$和$x_j$密度相连。满足对称性。
  簇：由密度可达关系导出的最大密度相连样本集合
  不属于任何簇的样本被认为是噪声或异常样本
• 算法：
  • 计算核心对象集合：对每一个样本，若它周围的点使其满足$|N_{ϵ}(x_j)|\ge MinPts$，则将其加入核心对象集合
  • 以所有核心对象为出发点，找出其密度可达的样本生成聚类簇：
    • 记录当前未访问样本集合$A=D$
    • 随机选取一个核心对象$o$。初始化队列$Q=<o>$
    • 只要$Q$非空：
      　　判断$Q$中每一个样本是不是核心对象，若是，则将样本$ϵ-$邻域内的所有点取出，加入到队列$Q$中，并从样本集合$D$中删除
    • 聚类簇$ck=A-D$