机器学习算法进阶——聚类

聚类理论、实践

  • 手写理论
  • 聚类
    • 聚类的定义
    • 相似度/距离计算方法总结
    • 聚类的基本思想
  • K-means算法
    • K-means缺点
    • K-means聚类方法总结
    • 聚类的衡量指标
  • 层次聚类方法
  • 密度聚类方法
  • 谱聚类(AP聚类)Affinity Propagation
    • 谱和谱聚类
    • 谱聚类算法

手写理论

机器学习算法进阶——聚类_第1张图片机器学习算法进阶——聚类_第2张图片机器学习算法进阶——聚类_第3张图片
机器学习算法进阶——聚类_第4张图片机器学习算法进阶——聚类_第5张图片
机器学习算法进阶——聚类_第6张图片
机器学习算法进阶——聚类_第7张图片

聚类

聚类的定义

机器学习算法进阶——聚类_第8张图片

相似度/距离计算方法总结

机器学习算法进阶——聚类_第9张图片
【余弦相似度和Pearson系数】
机器学习算法进阶——聚类_第10张图片

聚类的基本思想

机器学习算法进阶——聚类_第11张图片

K-means算法

机器学习算法进阶——聚类_第12张图片
机器学习算法进阶——聚类_第13张图片

K-means缺点

K-means是初值敏感的。
机器学习算法进阶——聚类_第14张图片
K-means的公式化解释
机器学习算法进阶——聚类_第15张图片K-means++算法:
(1)假设已经选取了n个初始聚类中心(0 (2)在选取第一个聚类中心(n=1)时同样通过随机的方法。

K-means聚类方法总结

机器学习算法进阶——聚类_第16张图片

聚类的衡量指标

机器学习算法进阶——聚类_第17张图片机器学习算法进阶——聚类_第18张图片机器学习算法进阶——聚类_第19张图片机器学习算法进阶——聚类_第20张图片机器学习算法进阶——聚类_第21张图片

层次聚类方法

机器学习算法进阶——聚类_第22张图片
【AGNES和DIANA算法】
机器学习算法进阶——聚类_第23张图片【层次聚类】
机器学习算法进阶——聚类_第24张图片【AGENS中簇间距离的不同定义】
机器学习算法进阶——聚类_第25张图片

密度聚类方法

机器学习算法进阶——聚类_第26张图片
【DBSCAN算法】
机器学习算法进阶——聚类_第27张图片
【DBSCAN算法的若干概念】
机器学习算法进阶——聚类_第28张图片机器学习算法进阶——聚类_第29张图片【DBSCAN算法】
机器学习算法进阶——聚类_第30张图片【密度最大值聚类】
机器学习算法进阶——聚类_第31张图片
【局部密度的其他定义】
机器学习算法进阶——聚类_第32张图片【高局部密度点距离】
机器学习算法进阶——聚类_第33张图片【簇中心的识别】
机器学习算法进阶——聚类_第34张图片【DensityPeak与决策图Decision Graph】
机器学习算法进阶——聚类_第35张图片
【边界和噪声的重认识】
机器学习算法进阶——聚类_第36张图片机器学习算法进阶——聚类_第37张图片

谱聚类(AP聚类)Affinity Propagation

PS:实对称阵的特征值是实数;实对称阵不同特征值的特征向量正交。

谱和谱聚类

【谱和谱聚类】
机器学习算法进阶——聚类_第38张图片【拉普拉斯矩阵的定义】
机器学习算法进阶——聚类_第39张图片

谱聚类算法

【未正则拉普拉斯矩阵】
机器学习算法进阶——聚类_第40张图片
【随机游走拉普拉斯矩阵】
机器学习算法进阶——聚类_第41张图片
【对称拉普拉斯矩阵】
机器学习算法进阶——聚类_第42张图片 L = D − W L=D-W L=DW时是计算L的特征值,将特征值从小到大排序,选取前k个特征值;D-W是从大到小排列。
L = D − 1 ( D − W ) L=D^{-1}(D-W) L=D1(DW),是从小到大排序, L = D − 1 W L=D^{-1}W L=D1W是从大到小排。
【进一步思考】
机器学习算法进阶——聚类_第43张图片【随机游走和拉普拉斯矩阵的关系】
机器学习算法进阶——聚类_第44张图片PS:标签传递算法
机器学习算法进阶——聚类_第45张图片

你可能感兴趣的:(机器学习算法)