【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化

【NLP】文本LDA主题聚类&主题词生成&可视化

LDA主题聚类

这是NLP中常用的一类方法,一般Sklearn,genism里有可以实现。一般结果会有文档-主题model(即说明每个文档属于某类主题的概率),概率最大则说明该文档属于该类别。以及主题-词语model,可以给出每个主题的前N个词。

主要部分代码:

from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
import lda

vectorizer = CountVectorizer(min_df=10, stop_words=stopwords)  # 定义计数器
transformer = TfidfTransformer()  # 该类会统计每个词语的tf-idf权值
tf = vectorizer.fit_transform(documents)  # 计算TF
tfidf = transformer.fit_transform(tf)  # fit_transform计算tf-idf,fit_transform将文本转为词频矩阵
vocab = vectorizer.get_feature_names()

model = lda.LDA(n_topics=5, n_iter=150, random_state=1)
model.fit(tf)
topic_words = model.topic_word_
# 显示每个话题的前10词
n = 10
topickey=[]
for i, t in enumerate(topic_words):
    topicwords = np.array(vocab)[np.argsort(-t)][:n]
    print('*Topic {}\n- {}'.format(i+1, ' '.join(topicwords)))
    topickey.append(','.join(topicwords))
print(topickey)

# 显示前10个文本的前K个话题
k = 1
doc_topic = model.doc_topic_
print(model.doc_topic_)
for i in range(194):
    topic_most_pr = doc_topic[i].argsort()[::-1]
    print("doc: {} topic: {}".format(textnames[i], topic_most_pr[:k][0]+1))
  # 如果k不等于1,上面topic_most_pr[:k][0]换成topic_most_pr[:k]

这里对于爬取的一些知乎关于疫情的评论数据进行结果示意:
(1)每一类的主题词:
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第1张图片
(2)每一条评论属于哪一类(取概率最大的一类)
解释下图1:比如矩阵的第一个列表就是文档0分别属于(设置分5类)各类的概率,可见属于第3类概率最大。(类别为了好记已经全加1,从第1类开始)
可见图2:输出最大概率的类,结果的确是类3
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第2张图片
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第3张图片

Pyldavis进行可视化

这部分是由于在评估聚类效果的时候,不确定类别是否重叠,因此用pyldavis这个可以对LDA进行可视化的包。
先用sklearn LDA进行运行,再利用PyLdavis可视化。
划分的4类最合适,划分5类及以上有重叠情况:
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第4张图片
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第5张图片
代码里特征数需要注意,这个数值会影响聚类结果和右侧的词频分布。(实验中发现)
在这里插入图片描述
一些中间结果:
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第6张图片
【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化_第7张图片2020-02-09 By EchoZhang

你可能感兴趣的:(NLP,Visualization,可视化,聚类,python)