python中文文本聚类_python进行中文文本聚类实例（TFIDF计算、词袋构建）

花了好几天时间学习了文本聚类，以下记录一下这次的学习，也整理了一些这方面的资料，和大家分享一下，一起交流学习，进步在于不断总结和分享以及相互交流。

文本聚类就是把相似的文档聚集成一簇，通过把文本转换成数值进行聚类，主要分为两个部分，第一个是构建词袋，也就是TF-IDF矩阵，也叫作文档词频矩阵，这个矩阵的每行是一篇文档，每列是一个词，矩阵的某个值代表该词在某篇文档的TF-IDF权重，就是把文档中的每个词转成它在这篇文档的重要性，用TF-IDF来表达这个词的重要程度，从而用数值来替换文本。这一步非常重要，可以说它占整个文本聚类过程的五分之四。关于TF-IDF的介绍。我认为解释的比较易懂的是这篇文档：http://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652390921&idx=1&sn=c89606ab9a3d55387305f54a05d26fd5&chksm=84da46d9b3adcfcff0c500c82ea01d1ba3a3d4beb50354cad084863c24b3ab5978bb0d015354&mpshare=1&scene=1&srcid=03255LjRoyvBkfIFoMPxmsBt#rd，这里解释得非常简单易懂了，大家可以阅读参考，(附：这篇文章是我在一个叫 数据挖掘入门与实战的微信公众号看到的，这个公众号经常推送一些数据挖掘的文章，非常实用，感兴趣的伙伴可以关注学习。)我总结一下构建词袋的几个关键步骤，首先是分词，分词是否准确影响聚类效果，关于jieba分词可以参考这篇文章http://www.oschina.net/p/jieba/，然后是计算TF值和IDF值，最后计算TF-IDF值，构建矩阵，这就是构建词袋的过程。

我们已经知道TF-IDF的含义了，下面具体说说代码实现。一开始我不了解已经有现成的库可以直接调用函数就可以计算TF-IDF值，直接可以得到词袋，所以我一开始是自己参考一些资料，根据TF-IDF的含义，一步步编代码计算出来。当我花了很多时间不断地调代码，终于运行正确的时候，突然找到关于scikit-learn库有相应的模块直接调用函数就可以计算。所以我两种方法都试了，以下我把两个方法都介绍一下。

1、直接计算法  import jieba  import os  import pandas as pd  import numpy as np  stopw = [line.strip().decode(‘utf-8’) for line in open(u’F:/自然语言处理/stops.txt’).readlines()]#读取停用词  def del_stop_words(words,stop_words):#定义一个将分词结果过滤掉停用词的函数  result=jieba.cut(words)#分词  new_words = []  for i in result:#对分词结果进行遍历  if i not in stop_words:#如果词语不在停用词表，是我们需要的词  new_words.append(i)#将保留下来的词追加到一个新的list中  return new_words  names = [ os.path.join(u’F:/自然语言处理/document’,h) for h in os.listdir(u’F:/自然语言处理/document’) ]#主要是读取document文件夹下所有的文本文件的路径，其中os.listdir是读取文本文件的名称如‘1.txt’、‘2.txt’  posts = [ open(name).read() for name in names ]#循环读取每个文本文件的内容  docs = []  word_set = set()  以下这个循环的主要作用是获取每个文档的词表，然后把 每个文档的词表取并集，形成word_set。词表就是指该篇文档由哪些词组成。用set函数可以得到每篇文档包含的词语。  for post in posts:  doc = del_stop_words(post,stopw)  docs.append(doc)  word_set |= set(doc)  word_set = list(word_set)#将word_set转为一个list数据类型  docs_vsm = []  以下这两个循环的主要作用是计算每一篇文档的词频，并把所有文档的词频全部放在doc_vsm中，doc_vsm转换成矩阵docs_matrix，这就是一个词频矩阵，每行是一篇文档，列是相应文档里的词，矩阵的某个数值表示该词在某篇文档的频数。  for i in range(13):#我的实验数据一共13篇文档，所以遍历13次，或许有同学会问为什么不是for doc in docs，我参考的博客资料确实这么写，但是我运行测试以后发现有问题，就是最后有一个函数是计算矩阵docs_matrix每一行的和，出现为0的情况，这显然不对，不可能一篇文档的词总数为0，当我写成for i in range(13):的时候，就没有这种问题，13这个数字可以根据您测试的文档数进行更换。  temp_vector = []  for word in word_set:#遍历词表，该词表包含组成文档的所有词  temp_vector.append(docs[i].count(word) * 1.0)#计算每篇文档每个词的词频， temp_vector临时保存一篇文档的词频  docs_vsm.append(temp_vector)#将每篇文档的词频依次追加到docs_vsm数据表中  docs_matrix = np.mat(docs_vsm)  column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]#计算包含该词的文档数  column_sum = np.array(column_sum)#转换为数组，因为数组可以方便后面的批量除法计算  column_sum = docs_matrix.shape[0] / column_sum#用文档总数除以包含某个词的文档总数(根据idf的概念)  idf = np.log(column_sum)#取对数  idf = np.diag(idf)#将数组转换为n*n的对角矩阵  以下这个循环主要是根据前面的词频矩阵docs_matrix计算tf值，tf值是词频除以该篇文档的总词数。  for doc_v in docs_matrix:  if doc_v.sum() == 0:  doc_v = doc_v / 1  else:  doc_v = doc_v / (doc_v.sum())  tfidf = np.dot(docs_matrix,idf)#tf*idf  tfidf就是一个词袋了  以上是直接计算的方法，为了说明详细，所以写的注释有点多，为了大家看得更清晰一些，我把代码重新复制一次。  import jieba  import os  import pandas as pd  import numpy as np  stopw = [line.strip().decode(‘utf-8’) for line in open(u’F:/自然语言处理/stops.txt’).readlines()]  def del_stop_words(words,stop_words):  result=jieba.cut(words)  new_words = []  for i in result:  if i not in stop_words:  new_words.append(i)  return new_words  names = [ os.path.join(u’F:/自然语言处理/document’,h) for h in os.listdir(u’F:/自然语言处理/document’) ]  posts = [ open(name).read() for name in names ]  docs = []  word_set = set()  for post in posts:  doc = del_stop_words(post,stopw)  docs.append(doc)  word_set |= set(doc)  word_set = list(word_set)  docs_vsm = []  #print word.encode(“utf-8”)  for i in range(13):  temp_vector = []  for word in word_set:  temp_vector.append(docs[i].count(word) * 1.0)  docs_vsm.append(temp_vector)  docs_matrix = np.mat(docs_vsm)  column_sum = [ float(len(np.nonzero(docs_matrix[:,i])[0])) for i in range(docs_matrix.shape[1]) ]  column_sum = np.array(column_sum)  column_sum = docs_matrix.shape[0] / column_sum  idf = np.log(column_sum)  idf = np.diag(idf)  for doc_v in docs_matrix:  if doc_v.sum() == 0:  doc_v = doc_v / 1  else:  doc_v = doc_v / (doc_v.sum())  tfidf = np.dot(docs_matrix,idf)  2、使用scikit-learn库的feature_extraction.textTrans文本特征抽取模块中的former 和CountVectorizer 相关函数进行计算，比上面的方法简单十倍都不止，但是数据类型要必须满足它的要求，所以在使用这个方法之前要做一些特别的处理，最后形成一个词列表list，list的每个元素是一篇文档的所有词，即每篇文档的所有词构成一个向量，所有的向量构成list。以下是相关代码：  2.1计算TFIDF值之前的前期处理  import re  import os  import sys  import codecs  import jieba  stopw = [line.strip().decode(‘utf-8’) for line in open(u’F:/自然语言处理/stops.txt’).readlines()]  path=u’F:/file/’  ph=u’F:/自然语言处理/document/’  n= 1  while n<=13: #遍历每篇文档  name = “%d” % n  filename = ph + str(name) + “.txt”  resname=path+str(name)+”.txt”  source = open(filename, ‘r’)  result = codecs.open(resname, ‘w’, ‘utf-8’)  line = source.readline() #按行读取  line = line.rstrip(‘\n’)  while line!=”“: #对读取的每行数据进行分词  seglist = jieba.cut(line,cut_all=False)  newword=[]  for i in seglist:  if i not in stopw:  newword.append(i)#去停后的分词结果是以逗号分隔  output = ’ ‘.join(list(newword)) #所以要用join替换成空格拼接  result.write(output + ‘\r\n’) #将该篇文档的某一行文本分词后的结果写入新文档  line = source.readline() #循环读取该篇文档的每行文本  source.close()  result.close()  n = n + 1

result = codecs.open(u’F:/自然语言处理/document/all.txt’, ‘w’, ‘utf-8’)  num = 1  while num <= 13:  name = “%d” % num  fileName = path + str(name) + “.txt”  source = open(fileName, ‘r’)  line = source.readline()  line = line.strip(‘\n’) #去除回车换行符，让所有的词形成一行  line = line.strip(‘\r’)  while line!=”“:  line = line.replace(‘\n’,’ ‘)  line = line.replace(‘\r’,’ ‘) #去除回车换行符，让所有的词形成一行  result.write(line+ ’ ‘) #将每一行写入一个文档并用空格分隔  line = source.readline()  source.close()  num = num + 1  result.close()

主要思路是读取每篇文档进行分词，分词以后将分词结果分别写到新的文本文件中去，我原始文档有13个，最后也会有相应的13个分词结果文件，接着再读取每个分词结果文件到python中，再依次写到一个文件中，这个文件就包含了所有文档的分词结果，这个文件每一行就是一篇文档的分词结果，我这里测试文档是13篇，那么这个文件就只有13行数据，必须这样，否则后面使用函数计算TFIDF会出错。  2.2正式进行计算TF-IDF值  from sklearn.feature_extraction.text import TfidfTransformer  from sklearn.feature_extraction.text import CountVectorizer  corpus = []  for line in open(u’F:/自然语言处理/document/all.txt’, ‘r’).readlines():  #print line  corpus.append(line.strip())#all文件就是存放所有文档分词结果的文件，一共13行，每行代表一篇文本，把它读取到corpus中  vectorizer = CountVectorizer()#将文本中的词语转换为词频矩阵 矩阵元素a[i][j] 表示j词在i类文本下的词频  transformer = TfidfTransformer() #该类会统计每个词语的tf-idf权值  tfidf = transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf 第二个fit_transform是将文本转为词频矩阵  word = vectorizer.get_feature_names() #获取词袋模型中的所有词语  weight = tfidf.toarray() #将tf-idf矩阵抽取出来，元素w[i][j]表示j词在i类文本中的tf-idf权重  weight就是tfidf矩阵  3、聚类  根据前面计算的tfidf值，我们已经把文本转换成了数值，可以直接进行聚类了。实际上为了测试效果，我使用的文本是已经分好类的，是搜狗实验室的文本数据，我分别从财经、IT、汽车三个类抽取出13篇文章，所以我可以很容易了解到聚类效果。我尝试了所有的聚类方法，聚类效果都不是很好，在其他一些作者写的关于文本聚类的文章里面，也有提到效果不是很好。根据我以前看过的文献资料，应该是最后的TFIDF矩阵是一个高维稀疏矩阵，导致聚类效果很差，解决方法就是降维，目前我还没有继续往下优化，希望对这方面有研究的朋友跟我交流，多多指导。  以下是聚类的有关代码：  from sklearn.cluster import KMeans  kmeans=KMeans(n_clusters=3)  kmeans.fit(weight)  kmeans.labels_#输出k-means聚类的结果  from sklearn import cluster  ms = cluster.MeanShift()  ms.fit_predict(weight)  two_means = cluster.MiniBatchKMeans(n_clusters=3)  two_means.fit_predict(weight)  ward = cluster.AgglomerativeClustering(n_clusters=3, linkage=’ward’)  ward.fit_predict(weight)  spectral = cluster.SpectralClustering(n_clusters=3,eigen_solver=’arpack’,affinity=”nearest_neighbors”)  spectral.fit_predict(weight)  dbscan = cluster.DBSCAN(eps=.2)  dbscan.fit_predict(weight)  affinity_propagation = cluster.AffinityPropagation()  affinity_propagation.fit_predict(weight)  从所有的运行结果看，虽然结果都不太好，总的来说k-means稍微好一些，但是我了解到谱聚类是比较适合高维数据的聚类的，实际运行效果也不好，可能我调参不对，感兴趣的同学都可以尝试一下。  以下给出我参考的几篇博客资料：  http://blog.csdn.net/eastmount/article/details/50473675  http://blog.csdn.net/yyxyyx10/article/details/63685382  这两篇博客写得很好，尤其是第一篇，里面还总结了很多文本挖掘的资料，大家可以参考。