数据挖掘｜层次聚类，非层次聚类 ，SOM ｜样本距离，样本相似度 ｜情报分析管理论5～7回总结(二)

前言

情報分析・管理論第5回〜第7回の復習
这篇博文是京都大学情报学研究科2021年后期，情报分析・管理论5～7回的总结的第二部分。

第5回：关联规则学习(association rule learning)，朴素贝叶斯分类器(naive bayes classifier)

本文
第6回：层次聚类(hierarchical clustering)，非层次聚类(non-hierarchical clustering) ，SOM (self-organizing map)

第7回：决策树(decision tree)，支持向量机(support vector machine) （待更新）

---

概述：层次聚类与非层次聚类

层次聚类(hierarchical clustering)：先分出小类，再将小类合并到更大的类里，直到所有的数据点可以归为一类。
常见方法有最短距离法，类平均法等

非层次聚类(non-hierarchical clustering)：基于样本距离，将离得近的归为一类。
常见方法有K平均法

通过以上的讨论我们发现，聚类的前提是计算样本点之间的距离或相似度

---

如何测量样本点之间的距离

我们有两个点$\text{x},\text{y}\in R^n$

• 欧拉距离(Euclid distance)
  $$(\sum _{i=1}^n|x_i-y_i{|}^2{)}^{1/2}$$
• 闵可夫斯基距离(Minkowski distance)
  $$(\sum _{i=1}^n|x_i-y_i{|}^p{)}^{1/p},p\in K$$
• 曼哈顿距离(Manhattan distance)
  $$\sum _{i=1}^n|x_i-y_i|$$
• 堪培拉距离(Canberra distance)
  $$\sum _{i=1}^n\frac{|x_i-y_i|}{|x_i|+|y_i|}$$

如何测量样本相似度

• 余弦相似性
  $$cos(\theta )=\frac{\text{x}\cdot \text{y}}{||\text{x}||\cdot ||\text{y}||}=\frac{\sum x_i{y}_i}{\sqrt{\sum x_i^2}\sqrt{\sum y_i^2}}$$
• Pearson相关系数
  $$r=\frac{\sum (x_i-{\mu }_x)(y_i-{\mu }_y)}{\sqrt{\sum (x_i-{\mu }_x{)}^2}\sqrt{\sum (x_i-{\mu }_y{)}^2}}$$
  ${\mu }_x$和${\mu }_y$分别是$x,y$的样本均值
• Jaccard系数
  对于集合A和B的相似度
  $$J(A,B)=\frac{|A\bigcap B|}{|A\bigcup B|}$$
  |A|是集合A的元素个数

---

层次聚类

最短距离法

步骤图解

1. 根据需求选取一种计算方式，计算样本量的距离(相似度)
2. 找出离得最近的点将其分为一组，对剩下的点进行相同处理
3. C1与C2的距离为$d_{12}=6$

1. $d_{12}=9,d_{13}=3$ ，因此将C1与C3分在一类变成C4
2. C2与C4的距离$d_{24}=min\{C_{12},C_{23}\}=5$
   

类平均法

步骤图解

1. 第一步依然是算出样本点之间的距离
2. 将离得最近的点划为一类
3. 再计算类与类之间的距离，与“最短距离法”不同的地方在于，这里的距离不再是以点为基础，而是选取的组与组之间的平均距离，这里$d_{12}=\frac{}{}8.25$而非之前的6

1. 将离得最近的类分在一起
2. C2与C4之间的距离是加权平均，$d_{24}=\frac{|C1|\cdot d_{12}+|C3|\cdot d_{23}}{|C1|+|C3|}=\frac{2\cdot 9+2\cdot 5}{2+2}=7$
   

---

非层次聚类：K平均法算法图解

K平均法(K-means)的算法步骤：

1. 咱们的目标是把数据分成K类，为方便图示，设K=3
2. 从数据中随机选择3个点$A_1^{(1)},A_2^{(1)},A_3^{(1)}$

4. 算出其余每个点离这三个点的距离，假设点a里$A_1^{(1)}$更近，则将a归位$A_1^{(1)}$类

5. 在这三类$A_i^{(1)},i=1,2,3$内部，算出质心，记为$A_1^{(2)},A_2^{(2)},A_3^{(2)}$
   
6. 若$A_i^{(1)}$和$A_i^{(2)},i=1,2,3$的距离$d$小于某个给定的阈值，则认为我们已到达期望的结果
   否则，重复步骤3,4

---

自组织映射SOM (self-organizing map)

SOM算法${}^{[1]}$:
假设我们有N个样本点，每个样本$x_i\in {\mathbb{R}}^m,i=1,2,...,n$

1. 初始化: 随机生成K个向量$v_i\in {\mathbb{R}}^m$

2. 在第t次迭代里，随机选取一个样本$x^{(t)}$，基于欧拉距离找出离其最近的向量，设为$v_{BMU}^{(t)}$，我们称这个向量为BMU(best matching unit)

3. 从$v_{BMU}$出发更新周围的其他向量，更新规则如下
   $v_{BMU}$得到的奖励最高，其他离$v_{BMU}$越近的向量，"奖励"越多，离得远的向量，"奖励"越少
   $$\begin{gathered} v_k^{(t+1)}\leftarrow v_k^{(t)}+{\beta }^{(t)}(x^{(t)}-v_k^{(t)}),k=1,2,..,K \\ {\beta }^{(t)}={\eta }^{(t)}{e}^{-{D^{(t)}}^2/2{\sigma }^{(t)}}, \\ \eta (t)={\eta }_0{e}^{-t/{\tau }_{\eta }},D^{(t)}=||v_k^{(t)}-v_{BMU}^{(t)}|{|}_2,\sigma (t)={\sigma }_0{e}^{-t/{\tau }_{\sigma }} \end{gathered}$$
   ${\eta }_0$和${\sigma }_0$是初始值，${\tau }_{\eta }$和${\tau }_{\sigma }$shi是常数

---

参考文献

[1] 《自己組織化マップ入門》, 古川徹生

---