高频词提取

高频词一般指的是在文章中出现频率较高的且有意义的一些词语，一定程度上代表了文档的焦点所在。所以也可以将其当做关键词。
本文的分词工具使用了jieba分词。

首先，引入要用的包并且读取待处理的文档数据：

import glob
import random
import jieba
def get_content(path):
    with open(path,'r',encoding='gbk',errors='ignore')as f:
        content=''
        for l in f:
            l=l.strip()
            content+=l
        return content

然后定义高频词统计的函数，输入是一个词的数组。

def get_TF(words,topK=10):
    tf_dic={}
    for w in words:
        tf_dic[w]=tf_dic.get(w,0)+1
    return sorted(tf_dic.items(),key=lambda x:x[1],reverse=True)[:topK]

然后定义读取停用词表的函数：

def stopwordslist(filepath):
    stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
    return stopwords

主函数：

def main():
    files=glob.glob('./data/news/C000013/*.txt')
    #glob.glob匹配所有的符合条件的文件，并将其以list的形式返回
    corpus=[get_content(x) for x in files]
    sample_inx=random.randint(0,len(corpus))
    stopwords=stopwordslist('./data/stop_words.utf8')
    split_words=[x for x in jieba.cut(corpus[sample_inx]) if x not in stopwords]
    
    
    print('样本之一：'+corpus[sample_inx])
    print('样本分词效果:'+'/'.join(split_words))
    print('前十个高频词：'+str(get_TF(split_words)))

然后运行主函数main(),得到输出：

样本之一：自2006年4月18日起，金象大药房白塔寺药店将对1036个品种的药品价格进行下调。其中西药405种、中成药442种和保健品189种。遴选药品平均降幅为15%～25%，有些品种的降幅达到了50%以上。此次降价的品种大部分是治疗常见病、多发病、慢性病的药品。不仅有国产药，也包括外资类药品和合资类药品。如：同仁堂科技发展股份生产的感冒清热颗粒，由原来的每盒14元降为每盒9.8元，降幅30%；中美上海施贵宝制药有限公司生产的日夜百服咛，由原来的每盒13.9元降为每盒11元，降幅20.86%；石药集团中诺药业生产的复方降压片，由原来的每盒5.2元降为每盒3元，降幅42.31%；辉瑞制药有限公司生产的络活喜片，由原来的每盒47.5元，降为每盒40.8元，降幅14.11%；北京大恒倍生制药厂生产的复方丹参片，由原来的每盒8.8元降为每盒2元，降幅77.27%；（德国）诺华制药生产的新山地明，由原来的每盒629.5元降为每盒560元，降幅11.04%。据北京金象大药房医药连锁有限公司董事长介绍，此次药品降价是企业强调要以保证药品质量、节约成本降低企业管理内耗的前提下实施的，是积极探讨细化管理、合理使用药学人员、提高工作效率来缩减成本让利于消费者的一种尝试，是履行企业“致力药业，护佑安康”使命的一种体现。实事求是地说，这次药品价格的调整降低了药店的利润空间，金象也是根据企业经营的实际状况经过仔细斟酌而推出的让利于民的销售价格。通过这一尝试，金象还将视实际的情况对其他门店的药品价格进行调整。据了解，金象与北京市其他几家本土品牌药店占据了六成左右的北京药品零售市场份额，像这样大规模的药品降价，对于这类品牌药店来说来是首次。相关链接：白塔寺药店：是以经营道地中药饮片、高档参茸滋补品、以及全国名、特、优、新中西药品和家庭医疗器械为主的大型综合药店，是一家具有135年经营历史的老字号药店，曾先后获得过“消费者满意商店”、“全国文明示范药店”、“货真价实”品牌体系成员店、“北京市首批优秀特色店”、“优良药房”等称号。白塔寺药店秉承金象复星医药股份有限公司“大众安康是金象复星经营的园点”的经营理念，坚持以优质齐全的品种，专业化的药学服务，舒适的购物环境为消费者提供全方位的服务。
样本分词效果:2006/年/月/18/日起/金象/药房/白塔寺/药店/1036/品种/药品/价格/进行/下调/西药/405/种/中成药/442/种/保健品/189/种/遴选/药品/平均/降幅/15%/～/25%/品种/降幅/达到/50%/降价/品种/大部分/治疗/常见病/多发病/慢性病/药品/国产/药/包括/外资/类/药品/合资/类/药品/同仁堂/科技/发展/股份/生产/感冒/清热/颗粒/原来/每盒/14/元降/每盒/9.8/元/降幅/30%/中/美/上海/施贵宝/制药/有限公司/生产/日夜/百服/咛/原来/每盒/13.9/元降/每盒/11/元/降幅/20.86%/石药集团/中诺/药业/生产/复方/降压片/原来/每盒/5.2/元降/每盒/元/降幅/42.31%/辉瑞/制药/有限公司/生产/络活/喜片/原来/每盒/47.5/元/降/每盒/40.8/元/降幅/14.11%/北京/大恒/倍生/制药厂/生产/复方/丹参片/原来/每盒/8.8/元降/每盒/元/降幅/77.27%/德国/诺华/制药/生产/新/山地/明/原来/每盒/629.5/元降/每盒/560/元/降幅/11.04%/北京/金象/药房/医药/连锁/有限公司/董事长/介绍/药品/降价/企业/强调/保证/药品/质量/节约/成本/降低/企业/管理/内耗/前提/实施/积极/探讨/细化/管理/合理/使用/药学/人员/提高/工作效率/缩减/成本/利于/消费者/一种/尝试/履行/企业/致力/药业/护佑/安康/使命/一种/体现/实事求是/地说/药品/价格/调整/降低/药店/利润/空间/金象/企业/经营/实际/状况/仔细/斟酌/推出/利于/民/销售价格/这一/尝试/金象/视/实际/情况/门店/药品/价格/进行/调整/了解/金象/北京市/几家/本土/品牌/药店/占据/六成/左右/北京/药品/零售/市场份额/大规模/药品/降价/类/品牌/药店/首次/相关/链接/白塔寺/药店/经营/道/中药饮片/高档/参茸/滋补品/全国/名/特/优/新/中西/药品/家庭/医疗器械/为主/大型/综合/药店/一家/具有/135/年/经营/历史/老字号/药店/先后/获得/消费者/满意/商店/全国/文明/示范/药店/货真价实/品牌/体系/成员/店/北京市/首批/优秀/特色店/优良/药房/称号/白塔寺/药店/秉承/金象复/星/医药/股份/有限公司/大众/安康/金象复/星/经营/园点/经营/理念/坚持/优质/齐全/品种/专业化/药学/服务/舒适/购物/环境/消费者/提供/全方位/服务
前十个高频词：[('药品', 12), ('每盒', 12), ('药店', 9), ('降幅', 8), ('元', 7), ('生产', 6), ('原来', 6), ('金象', 5), ('经营', 5), ('元降', 5)]