【NLP】NO2：中文关键词提取

一、基于TF-IDF提取关键词

import jieba.analyse
#withWeight表示是否需要返回关键词权重值
#allowPOS表示指定的词性
word = " ".join(jieba.analyse.extract_tags(word,topK=20,withWeight=False,allowPOS=(['n','v'])))

二、基于TextRank提取关键词

1.核心思想：文本中的词看成图中的节点，通过边相互连接，不同节点的权重不同，权重高的节点作为关键词。
2.主要步骤
（1)将文本按照完整句子分割，对每个句子，进行分词和词性标注，去除停用词，留下候选关键词
（2）构建候选关键词图，采用共现关系构建边，如果词汇在长度为k的窗口中共现，则两点间存在边
（3）根据公式，迭代计算各节点的权重，直到收敛

wij表示边的权重，ws(vj)表示邻居节点j的权重，vj表示节点j的权重，d表示阻尼系数，一般取值为0.85
（4）节点权重倒序，选择top n
（5）选择的n各单词，在原始文本中标记，如果形成相邻词组，则组合成多词关键词

import jieba.analyse
word = " ".join(jieba.analyse.textrank(word,topK=20,withWeight=False,allowPOS=(['n','v'])))

三、基于LDA主题模型提取关键词

基于Gensim库，进行文件加载、分词、去停用词、构建词袋模型、LDA模型训练、结果可视化

from gensim import corpora,models,similarities
import gensim
#构建词袋模型
dic = corpora.Dictionary(word)
corpus = [dic.doc2bow(words) for words in word]
#LDA模型,主题的个数
lda = gensim.models.ldamodel.LdaModel(corpus=corpus,id2word=dic,num_topics=10)
#第一个主题的前5个词
lda.print_topic(1,topn=5)