使用jieba进行关键字词提取（基于Textrank算法）

基于Textrank的关键词提取

函数：jieba.analyse.textrank(string, topK=20, withWeight=True, allowPOS=())
string：待处理语句
topK：关键字的个数，默认20
withWeight：是否返回权重值，默认false
allowPOS：是否仅返回指定类型，默认为空

import jieba.analyse

sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，包括SQL。熟悉Linux；"


for x, w in jieba.analyse.textrank(sentence, topK=20, withWeight=True, allowPOS=('ns', 'n', 'vn', 'n')):
    print(x, w)

输出

重点 1.0
专业 0.8061684032232116
学校 0.7862310452861397
在校生 0.7839886608630899
数学 0.7099646154902878
硕士 0.6041038143387957
计算机 0.293795179933938

textrank与TF-IDF
1.TextRank与TFIDF均严重依赖于分词结果——如果某词在分词时被切分成了两个词，那么在做关键词提取时无法将两个词黏合在一起（TextRank有部分黏合效果，但需要这两个词均为关键词）。因此是否添加标注关键词进自定义词典，将会造成准确率、召回率大相径庭。
2.TextRank的效果并不优于TFIDF。
3.TextRank虽然考虑到了词之间的关系，但是仍然倾向于将频繁词作为关键词。
4.TextRank涉及到构建词图及迭代计算，所以提取速度较慢。

转载：
作者：Treant
出处：http://www.cnblogs.com/en-heng