浅谈聚类分析MATLAB实现

浅谈聚类分析MATLAB实现

matlab新手上路，一点想法，希望大家不吝赐教：

---

MATLAB的统计工具箱中的多元统计分析中提供了聚类分析的两种方法：

• 层次聚类 hierarchical clustering
• K-均值聚类
• MATLAB聚类分析（各点最小距）：

层次聚类 hierarchical clustering

层次聚类是基于距离的聚类方法，MATLAB中通过pdist、linkage、dendrogram、cluster等函数来完成

层次聚类的过程可以分这么几步：

(1) 确定对象

（实际上就是数据集中的每个数据点）之间的相似性，实际上就是定义一个表征对象之间差异的距离，例如最简单的平面上点的聚类中，最经常使用的就是欧几里得距离。
这在MATLAB中可以通过Y=pdist（X）实现，例如

X=randn(6,2)
X =
-0.4326 1.1892
-1.6656 -0.0376
0.1253 0.3273
0.2877 0.1746
-1.1465 -0.1867
1.1909 0.7258
plot(X(:,1),X(:,2),’bo’) %给个图，将来对照聚类结果

Y=pdist(X)
Y =
Columns 1 through 14
1.7394 1.0267 1.2442 1.5501 1.6883 1.8277 1.9648 0.5401
2.9568 0.2228 1.3717 1.1377 1.4790 1.0581
Column 15
2.5092

例子中X数据集可以看作包含6个平面数据点，pdist之后的Y是一个行向量，15个元素分别代表X的第1点与2-6点、第2点与3-6点,……这样的距离。
那么对于M个点的数据集X，pdist之后的Y将是具有M*(M-1)/2个元素的行向量。Y这样的显示虽然节省了内存空间，但对用户来说不是很易懂，如果需要对这些距离进行特定操作的话，也不太好索引。
MATLAB中可以用squareform把Y转换成方阵形式，方阵中位置的数值就是X中第i和第j点之间的距离，显然这个方阵应该是个对角元素为0的对称阵。

squareform(Y)
ans =
0 1.7394 1.0267 1.2442 1.5501 1.6883
1.7394 0 1.8277 1.9648 0.5401 2.9568
1.0267 1.8277 0 0.2228 1.3717 1.1377
1.2442 1.9648 0.2228 0 1.4790 1.0581
1.5501 0.5401 1.3717 1.4790 0 2.5092
1.6883 2.9568 1.1377 1.0581 2.5092 0

这里需要注意的是，pdist可以使用多种参数，指定不同的距离算法。help pdist把。
另外，当数据规模很大时，可以想象pdist产生的Y占用内存将是很吓人的，比如X有10k个数据点
，那么X占10k*8*2Bytes=160K，这看起来不算啥，但是pdist后的Y会有10k*10k/2*8Bytes=400M。
所以，用MATLAB的层次聚类来处理大规模数据，大概是很不合适的。

(2) 确定好了对象间的差异度（距离）后，就可以用Z=linkage(Y)来产生层次聚类树了。

Z=linkage(Y)
Z =
3.0000 4.0000 0.2228
2.0000 5.0000 0.5401
1.0000 7.0000 1.0267
6.0000 9.0000 1.0581
8.0000 10.0000 1.3717

对于M个元素的X，前面说了Y是1行M*(M-1)/2的行向量，Z则是(M-1)*3的矩阵。
Z数组的前两列是索引下标列，最后一列是距离列。例如上例中表示在产生聚类树的计算过程中，第3和第4点先聚成一类，他们之间的距离是0.2228，以此类推。要注意的是，为了标记每一个
节点，需要给新产生的聚类也安排一个标识，MATLAB中会将新产生的聚类依次用M+1,M+2,….依次来标识。比如第3和第4点聚成的类以后就用7来标识，第2和第5点聚成的类用8来标识，依次类
推。

相异度矩阵(Dissimilarity Matrix)

按n个数据对象两两间的相异度构建n阶矩阵（因为相异度矩阵是对称的，只需写出上三角或下三角即可）.其中d(i,j)表示数据对象i与j的相异度，是一个非负的数值。当对象i和j越相似或“接近”时，d(i,j)值越接近0；而对象i和j越不相同或相距“越远”时，d(i,j)值越大。显然，d(i,j)=d(j,i)，d(i,i)=0。

通过linkage函数计算之后，实际上二叉树式的聚类已经完成了。Z这个数据数组不太好看，可以
用dendrogram(Z)来可视化聚类树。
MATLAB的层次聚类及k-均值聚类应用简述zz

可以看到，产生的聚类树的每一层都是一个倒置的U型（或者说是个n型，~~），纵轴高度代表了当前聚类中两个子节点之间的距离。横轴上标记出了各个数据点索引下标。
稍微注意以下的是，dendrogram默认最多画30个最底层节点，当然可是设置参数改变这个限制，
比如dendrogram(Z,0)就会把所有数据点索引下标都标出来，但对于成千上万的数据集合，这样的结果必然是图形下方非常拥挤。看你的应用目的了，用后期图形编辑器可以解决。

(3)初步的聚类树画完后，还要做很多后期工作的，包括这样的聚类是不是可靠，是不是代表了

实际的对象分化模式，对于具体的应用，应该怎样认识这个完全版的聚类树，产生具有较少分叉的可供决策参考的分类结果呢？这都是需要考虑的。
MATLAB中提供了cluster, clusterdata, cophenet, inconsistent等相关函数。
cluster用于剪裁完全版的聚类树，产生具有一定cutoff的可用于参考的树。
clusterdata可以认为是pdist,linkage,cluster的综合，当然更简易一点。
cophenet和inconsistent用来计算某些系数，前者用于检验一定算法下产生的二叉聚类树和实际情况的相符程度（就是检测二叉聚类树中各元素间的距离和pdist计算产生的实际的距离之间有
多大的相关性），inconsistent则是量化某个层次的聚类上的节点间的差异性（可用于作为cluster的剪裁标准）。
后面这些的理解，大概需要对聚类有一个更深刻更数学的认识，我也不是很清楚，就不多说了。

简单实现：

function H = fencengjulei(X)
%UNTITLED3
% 分层聚类分析 hierarchical clustering
Y=pdist(X);
Z=linkage(Y);
dendrogram(Z,0);
T=cluster(Z,k);
end

K-均值聚类

K-means聚类算法采用的是将N*P的矩阵X划分为K个类，使得所有类内对象与该类中心点之间的距离和最小。

#

Idx=Kmeans(X,K)
[Idx,C]=Kmeans(X,K)
[Idx,C,sumD]=Kmeans(X,K)
[Idx,C,sumD,D]=Kmeans(X,K)
[…]=Kmeans(…,’Param1’,Val1,’Param2’,Val2,…)

各输入输出参数介绍：

X N*P的数据矩阵
K 表示将X划分为几类，为整数
Idx N*1的向量，存储的是每个点的聚类标号
C K*P的矩阵，存储的是K个聚类质心位置
sumD 1*K的和向量，存储的是类内所有点与该类质心点距离之和
D N*K的矩阵，存储的是每个点与所有质心的距离
[…]=Kmeans(…,’Param1’,Val1,’Param2’,Val2,…)
这其中的参数Param1、Param2等，主要可以设置为如下：

1. ‘Distance’(距离测度)
   ‘sqEuclidean’ 欧式距离（默认时，采用此距离方式）
   ‘cityblock’ 绝度误差和，又称：L1
   ‘cosine’ 针对向量
   ‘correlation’ 针对有时序关系的值
   ‘Hamming’ 只针对二进制数据

2. ‘Start’（初始质心位置选择方法）
   ‘sample’ 从X中随机选取K个质心点
   ‘uniform’ 根据X的分布范围均匀的随机生成K个质心
   ‘cluster’ 初始聚类阶段随机选择10%的X的子样本（此方法初始使用’sample’方法）
   matrix 提供一K*P的矩阵，作为初始质心位置集合

3. ‘Replicates’（聚类重复次数） 整数

使用案例：

X = [randn(100,2)+ones(100,2);…
randn(100,2)-ones(100,2)]; 产生200个样本点，行指向每个样本，列是维变量值。
opts = statset(‘Display’,’final’);
[idx,ctrs] = kmeans(X,2,’Distance’,’city’,’Replicates’,5,’Options’,opts);
for i1=1:length(X)
if idx(i1) == 1
plot(X(i1,1),X(i1,2),’ro’)
else
plot(X(i1,1),X(i1,2),’ko’)
end
end
plot(ctrs(:,1),ctrs(:,2),’rp’,’markersize’,10)

MATLAB聚类分析（各点最小距）：

最小值聚类算法（自己给起的名字）采用的是将N*P的矩阵X划分为K个类，使得所有类内任意一点与该类其他所有点之间的距离的最小值比类外任意一点的距离小。

类外点与类中各点距离的最小值记作该点与类的距离，每次把距离类最近的点纳入该类。

matlab实现

function [ E,F ] = feng(a)
%UNTITLED 此处显示有关此函数的摘要
% 聚类分析优化
for i=1:1:(length(a))
B(i)=a(i);
end
E=[]：F=[];E(1)=0；F(1)=100;
for n=1:1:(length(a))
for i=1:1:(length(B))
for j=1:1:(length(E))
C(i,j)=abs(B(i)-E(j));
end
for j=1:1:(length(F))
D(i,j)=abs(B(i)-F(j));
end
end
[rr1,hh1,Q,rr2,hh2,Z]=hua(C,D);
if Q小于Z
M=rr1;
E=[E,B(rr1)];
yu(M,B)
end
if Q大于Z&&Q==Z
M=rr2;
F=[F,B(rr2)];
yu(M,B)
end
end
end

function [rr1,hh1,Q,rr2,hh2,Z]=hua(C,D)
%UNTITLED3 此处显示有关此函数的摘要
% 聚类分析优化寻找最小距离及其索引
Q=min(min(C));
[rr1,hh1]=find(C==Q);
Z=min(min(D));
[rr2,hh2]=find(D==Z);
end

function [ B ] = yu( M,B )
%UNTITLED2 此处显示有关此函数的摘要
% 聚类分析优化更新样本矩阵库B
r=M;
for i=1:1:(r-1)
C(i)=B(i);
end
for s=r:1:(length(B)-1)
C(s)=B(s+1);
end
B=C;
end

“`

脚注

参考[^http://blog.sina.com.cn/s/blog_62f3c4ef01014wz1.html].matlab新手上路，一点想法，希望大家不吝赐教

目录

用 [TOC]来生成目录：