Hierarchical Clustering(学习Free Mind知识整理)和Hungarian Algorithm

由上一篇K-medoids算法学完后,搜索到Hierarchical Clustering算法和上篇Free Mind的K-medoid讨论提到的Hungarian Algorithm算法,做一个简单学习。

这篇文章的学习思路还是按照http://blog.pluskid.org/?p=407学习一下。

==================================================================

“聚类的时候如何确定类别数?”

解释:思考了还是不清楚然后看了一些论坛心得。

1、确定聚类个数的方法: 相似系数:指变量或样本间的亲密程度(即阈值),相似系数较大的聚为一类。常用的有夹角余弦、相关系数、指数相似系数。 标尺值:0~25进行分类。 伪F统计量:应该取伪F统计量较大而类数较小的聚类水平。如下图所示,应该分为4类最合适。 统计量R2:应该取R2统计量较大的类数数目。 伪t2统计量:伪t2统计量大说明不应该合并这两类,应该取合并前的水平。 实际意义:根据你做得试验,必须有实际意义。比 ...
本文来自: 人大经济论坛 SPSS专版 版,详细出处参考:
http://bbs.pinggu.org/forum.phpmod=viewthread&tid=162067&page=1


2、这个问题是聚类分析历史中尚未完全解决的问题之一,主要的障碍是对类的结构和内容很难给出一个统一的定义,这样就给不出从理论上和实践中都可行的虚无假设。往往在实际应用中人们主要根据研究的目的,从使用的角度出发,选择合适的分类数。Demirmen(1972)曾提出了根据树状结构图来分类的准则:

Ø1.任何类都必须在邻近各类中是突出的,即各类重心之间距离必须大;
Ø2.各类所包含的元素都不要过分地多;
Ø3.分类的数目应该符合使用的目的;
Ø4.若采用几种不同的聚类方法处理,则在各自的聚类结果上应该发现相同的类

这个问题正是分类(Categorization or Classification)(按照某种标准给对象贴标签(label),再根据标签来区分归类)和聚类(事先没有“标签”而通过某种成团分析找出事物之间存在聚集性原因的过程)的关系主要所在吧。

区别是,分类是事先定义好类别 ,类别数不变 。分类器需要由人工标注的分类训练语料训练得到,属于有指导学习范畴。聚类则没有事先预定的类别,类别数不确定。 聚类不需要人工标注和预先训练分类器,类别在聚类过程中自动生成 。分类适合类别或分类体系已经确定的场合,比如按照
国图分类法分类图书;聚类则适合不存在分类体系、类别数不确定的场合,一般作为某些应用的前端,比如多文档文摘、搜索引擎结果后聚类(元搜索)等。
      分类的目的是学会一个分类函数或分类模型(也常常称作分类器 ),该模型能把数据库中的数据项映射到给定类别中的某一个类中。 要构造分类器,需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成,每个元组是一个由有关字段(又称属性或特征)值组成的特征向量,此外,训练样本还有一个类别标记。一个具体样本的形式可表示为:(v1,v2,...,vn; c);其中vi表示字段值,c表示类别。分类器的构造方法有统计方法、
机器学习方法、神经网络方法等等。
      聚类(clustering)是指根据“物以类聚”原理,将本身没有类别的样本聚集成不同的组,这样的一组数据对象的集合叫做簇,并且对每一个这样的簇进行描述的过程。它的目的是使得属于同一个簇的样本之间应该彼此相似,而不同簇的样本应该足够不相似。与分类规则不同,进行聚类前并不知道将要划分成几个组和什么样的组,也不知道根据哪些空间区分规则来定义组。其目的旨在发现空间实体的属性间的函数关系,挖掘的知识用以属性名为变量的数学方程来表示。聚类技术正在蓬勃发展,涉及范围包括数据挖掘、统计学、
机器学习、空间数据库技术、生物学以及市场营销等领域,聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。常见的聚类算法包括:K-均值聚类算法、K-中心点聚类算法、CLARANSBIRCH、CLIQUE、DBSCAN等。

==================================================================

对于上面的问题解决方法:

层次聚类 Hierarchical Clustering:

 http://home.deib.polimi.it/matteucc/Clustering/tutorial_html/hierarchical.html

层次聚类算法:

给定要聚类的N的对象以及N*N的距离矩阵(或者是相似性矩阵), 层次式聚类方法的基本步骤(参看S.C. Johnson in 1967)如下:
  1. 将每个对象归为一类, 共得到N类, 每类仅包含一个对象. 类与类之间的距离就是它们所包含的对象之间的距离.
  2. 找到最接近的两个类并合并成一类, 于是总的类数少了一个.
  3. 重新计算新的类与所有旧类之间的距离.
  4. 重复第2步和第3步, 直到最后合并成一个类为止(此类包含了N个对象).

由于层次聚类计算量巨大,所以通常不用来计算大量的数据,不过可以用层次聚类来选取K-means算法的初始类中心。

该方法分为两类:agglomerative hierarchical clustering(自下而上)和divisive hierarchical clustering(自顶而下)【http://blog.csdn.net/jwh_bupt/article/details/7685809】

python实现:http://www.cnblogs.com/Key-Ky/p/3440684.html

自下而上的python实现:https://github.com/intergret/snippet/blob/master/HAC.py

                                       http://www.oschina.net/code/snippet_176897_14731

matlab待实现:实现参考链接

                        http://blog.sina.com.cn/s/blog_69c3ea2b0100nitu.html                          

                        http://www.cnblogs.com/wentingtu/archive/2012/01/04/2311533.html

=================================================================

匈牙利算法Hungarian Algorithm:

http://blog.csdn.net/erpindao/article/details/8451524

http://blog.csdn.net/allenlsy/article/details/5004360

http://ycool.com/post/cfnym64

http://www.cnblogs.com/kakamilan/archive/2012/07/14/2590879.html

****************************************************************************

二分图又称作二部图,是图论中的一种特殊模型。 设G=(V,E)是一个无向图,如果顶点V可分割为两个互不相交的子集(A,B),并且图中的每条边(i,j)所关联的两个顶点i和j分别属于这两个不同的顶点集(i in A,j in B),则称图G为一个二分图。区别二分图,关键是看点集是否能分成两个独立的点集。

关于网络流的介绍:http://blog.csdn.net/y990041769/article/details/21026445

                                                               http://www.cnblogs.com/hxsyl/p/4185530.html

最大流的含义,就是说从源点到经过的所有路径的最终到达汇点的所有流量和。

===================================================================

最后给一个文中提到的贪婪算法:http://blog.csdn.net/effective_coder/article/details/8736718

这个算法有兴趣的可以去学习一下。

===================================================================

最后感谢文中所有博友



你可能感兴趣的:(Hierarchical Clustering(学习Free Mind知识整理)和Hungarian Algorithm)