聚类算法相关:
聚类算法(一)——DBSCAN
聚类算法(二)—— 优缺点对比
聚类算法(三)—— 评测方法1
聚类算法(三)—— 评测方法2
聚类算法(三)—— 评测方法3(代码)
聚类算法(四)—— 基于词语相似度的聚类算法(含代码)
聚类算法(五)——层次聚类 linkage (含代码)
聚类算法(六)——谱聚类 (含代码)
写了那么多聚类文章,没写Kmeans感觉不太厚道, 但是相对来说目前Kmeans介绍的博文很多,相对来说逻辑也比较简单,所以这里我贴一篇个人感觉写的比较好的Kmeans介绍,供大家参考
K-Means聚类算法原理
步骤粘过来:
顺便上个我写的KMeans的代码:
from sklearn.cluster import KMeans
# 加载word2vec模型
model_file = '' # word2vec model
model = gensim.models.Word2Vec.load(model_file)
words = ['', '', ''] # 这里写要聚类的词语
X = [model[x] for x in words]
kmeans_model = KMeans(n_clusters=cluster_number, init='k-means++', random_state=1).fit(X)
labels = kmeans_model.labels_
将model_file 填上word2vec词向量模型, words输入要聚类的词语即可。 word2vec词向量训练可以参考 文本表示(二)—— word2vec 词向量训练代码
解释下, NLP方面做的聚类多是针对文本的,如果是对数值相关的特征进行聚类操作,可以直接不加word2vec查询词向量这一步,或者可以从网上搜一些其他的例子,数值聚类的有很多。
下面我来介绍一下针对文本聚类的操作,举的例子是针对词的,这里例子只是简单的对词语聚类,当然如果要对短语或者是句子聚类是需要调整输入的X特征的,详细可以参见 聚类算法(四)—— 基于词语相似度的聚类算法(含代码)代码的相似度部分,有相关的代码示例。
上面代码中,通过word2vec模型查着对应词语的词向量表示,作为输入的特征,进一步送到KMeans模型进行聚类。
还要说的一点是, 这里选用了KMeans++, 很多情况下比KMeans效果要好一些,聚类算法(二)—— 优缺点对比 优缺点对比中我们可以看到, KMeans的其中一个缺点是初始化中心点的选择问题,这个也是KMeans和EM都具有的问题,不同的初始化会导致结果不同,可能导致局部收敛,为了避免这个问题,K-Means++对K-Means随机初始化质心的方法进行了优化,质心选择的阶段,对每个非已选取质心点,判断其距离已选取质心距离的最小值,选择这些非质心点中这个最小值最大的点作为新添加的质心点。详细可参考:K-Means聚类算法原理 参考下一章内容
方法二:
如果说我没有数据训练词向量,且也没有一个现成的词向量,或者我就懒得训练一个词向量怎么办呢?
这里给一个适用于文本的tfidf的方案:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import jieba
def segment(x):
segments = jieba.cut(str(x))
return " ".join(segments)
texts = ['','',''] # 句子序列
seg_texts = [segment(x) for x in texts]
tfvec = TfidfVectorizer()
model = KMeans(n_clusters=k, init='k-means++', random_state=9)
cv_fit = self.tfvec.fit_transform(seg_texts).toarray()
y_pred = model.fit_predict(cv_fit)
这里再多说一句, 上面贴的两块代码,可以适用于很多文本聚类的算法,将KMeans进行替换即可。
这里有一篇说的很好的,贴过来 KMeans - 概述
写下KMeans++逻辑:
其实说的有点绕,直白点说,就是先随机给一个中心点,剩下的挨个选,选的逻辑是找与当前中心点最远的点,但是不直接把距离当前已有中心点s 最远的点作为新的中心点,而是给其他的点各附一个概率,概率正比于 距已有中心点的距离,就还是越远概率越高,但是随机给一个概率就可以避免离群噪声点的影响,而将更集中一起的一个簇中的点更可能被找到(为什么,因为簇里面点比较多,概率乘以m,那就比离群点的概率要大了,就是我一群一面选一个跟离群点自己被选中比,肯定更有优势)