Python基于Kmeans算法实现文本聚类的简单练习
接触机器学习时间不长，也一直有兴趣研究这方面的算法。最近在学习Kmeans算法，但由于工作的原因无法接触到相关的项目实战。为了理清思路、熟悉代码，在参照了几篇机器学习大神的博文后，做了一个简单的Kmeans算法的简单练习。作为一枚机器学习的门外汉，对于文中的一些错误和不足，还望您多多包涵，也欢迎您的批评和建议（第一次发博客，有点语无伦次，见谅哈）。
先说一下我的大致思路：
1、利用爬虫进行文本数据的爬取。本文爬取了豆瓣电影TOP250榜单内的电影剧情简介作为聚类文本。
2、利用jieba分词对文本进行预处理（文本分词、停用词过滤、语料库的建立等）。
3、利用scikit-learn计算词语的tfidf并建立VSM。
4、利用Kmeans进行文本聚类。
5、结果展示。
话不多说，直接进入正题吧。
一、文本数据的爬取
先上代码：
# -*- coding: utf-8 -*-
import urllib.request
import re
from lxml import etree
urllib.request.urlcleanup()
import urllib.error
import time
'''豆瓣设置了反扒机制，通过设置代理并将爬虫伪装成浏览器，以及在出现错误时设置延时后发现能狗成功'''
def use_proxy(proxy_ip,url):
try:
req=urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0')
proxy=urllib.request.ProxyHandler({'http':proxy_ip})
opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
data=urllib.request.urlopen(req).read().decode('utf-8','ignore')
return data
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
time.sleep(10) #出现异常延时10s
except Exception as e:
print('exception:'+str(e))
time.sleep(1)
'''爬取榜单上电影的链接'''
for i in range(0,225,25):
url='https://movie.douban.com/top250?start='+str(i)
proxy_ip='127.0.0.1:8888'
data=use_proxy(proxy_ip,url)
response = etree.HTML(data)
link = response.xpath('//div[@class="pic"]/a/@href')
'''在爬取过程中发现豆瓣上有4部电影的链接无法打开，将其剔除'''
unlink=['https://movie.douban.com/subject/5912992/',
'https://movie.douban.com/subject/1292000/',
'https://movie.douban.com/subject/1300299/',
'https://movie.douban.com/subject/1417598/']
for j in range(0,len(link)):
thisurl=link[j]
if thisurl in unlink:
continue
'''爬取剧情简介文本，并写入本地文件'''
data=use_proxy(proxy_ip,thisurl)
pat='(.*?)'
content=re.compile(pat,re.S).findall(data)
pat1='(.*?) '
title=re.compile(pat1,re.S).findall(data)
content_data=content[0].replace('
','').strip().replace('\n','').replace(' ','')
filename='D:/Python_work/Data Mining/db250/'+title[0].strip()+'.txt'
with open(filename,'w',encoding='utf-8') as fh:
fh.write(content_data)爬取结果：
二、文本预处理
文本预处理主要利用jieba分词进行中文分词，根据停用词的语料库进行停用词的过滤以及特殊字符的处理,建立语料库。
本文停用词库的建立参考博文:点击打开链接
代码如下：
# -*- coding: utf-8 -*-
from os import listdir
import jieba
from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
all_file=listdir('D:/Python_work/Data Mining/db250') #获取文件夹中所有文件名
labels=[] #用以存储电影名称
corpus=[] #空语料库
'''停用词的过滤'''
typetxt=open('D:/Python_work/Data Mining/文本相似度计算/停用词.txt')
texts=['\u3000','\n',' '] #爬取的文本中未处理的特殊字符
'''停用词库的建立'''
for word in typetxt:
word=word.strip()
texts.append(word)
'''语料库的建立'''
for i in range(0,len(all_file)):
filename=all_file[i]
filelabel=filename.split('.')[0]
labels.append(filelabel) #电影名称列表
file_add='D:/Python_work/Data Mining/db250/'+ filename
doc=open(file_add,encoding='utf-8').read()
data=jieba.cut(doc) #文本分词
data_adj=''
delete_word=[]
for item in data:
if item not in texts: #停用词过滤
data_adj+=item+' '
else:
delete_word.append(item)
corpus.append(data_adj) #语料库建立完成结果展示（corpus）：
三、计算词语的tfidf值，此部分代码主要参考大神博文：点击打开链接
代码：
vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频
transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值
tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf，第二个fit_transform是将文本转为词频矩阵
weight=tfidf.toarray()#将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
word=vectorizer.get_feature_names()#获取词袋模型中的所有词结果展示：
word:
weight:
weight为 246×9293矩阵，每一行代表一个文本，列为总次数，每一行对应的值为相关文本词语的TFIDF值
四、Kmeans聚类的实现
from sklearn.cluster import KMeans
mykms=KMeans(n_clusters=10)
y=mykms.fit_predict(weight)
for i in range(0,10):
label_i=[]
for j in range(0,len(y)):
if y[j]==i:
label_i.append(labels[j])
print('label_'+str(i)+':'+str(label_i))结果如下：
五、刚学机器学习不久，此篇文章纯粹是作练习用，结果没有什么价值，此外对于Kmeans部分也只是简单的调用，后续还需要进行更深入的学习。非科班出身，代码也是业余时间的个人爱好，文章中的一些问题也欢迎各位大佬指出，也希望能结识喜欢机器学习的小伙伴，多交流，一起学习，一起成长！