Python实现中文小说词频统计
统计一个文件中出现次数最高的10个词语，用来测试的例子是金庸小说，挑选其中一部小说，我挑的是天龙八部。在网上找了好久相关的开源项目，很多同学做这个都是用的C++，但是我想能不能做一点不一样的东西，自己先用JavaScript尝试了一下，发现做出来的demo又很多不完善的地方，只好又到网上查找社区已经开源出来的项目，最后找到了个Python的开源中文分词软件jieba，因为自己也有学习Python，所以就这个了。
里面分为两个部分，对于已收录的词语，分成两步，首先采用Trie树进行扫描，将句子中的词语构成有向无环图，接着采用动态规划算法查找最有可能的词语。对于为收录的词，则是Viterbi algorithm（一个动态规划算法），加上HMM模型（隐式马尔可夫模型）。
整个工程还是比较大，首先是读文件，整个压缩文件夹有8.9MB大小，包括15部小说，解压之后17.3MB，要分析的这部小说大小是2.5MB。里面有一个test的例子，可以对特定的文件做Top K搜索。代码如下
import sys
sys.path.append('../')
import jieba
import jieba.analyse
from optparse import OptionParser
USAGE = "usage: python extract_tags.py [file name] -k [top k]"
parser = OptionParser(USAGE)
parser.add_option("-k", dest="topK")
opt, args = parser.parse_args()
if len(args) < 1:
print USAGE
sys.exit(1)
file_name = args[0]
if opt.topK is None:
topK = 10
else:
topK = int(opt.topK)
content = open(file_name, 'rb').read()
tags = jieba.analyse.extract_tags(content, topK=topK)
print ",".join(tags)然后转到命令行输入命令:python extract_tags.py /Users/me/Downloads/novel/04.txt -k 10
输出结果如下
Building Trie..., from /Users/me/tmp/jieba/jieba/dict.txt
loading model from cache /var/folders/5_/1643c4qn0017c_bkbsvmh98m0000gn/T/jieba.cache
loading model cost 1.67866015434 seconds.
Trie has been built succesfully.
段誉,虚竹,萧峰,乔峰,慕容复,说道,王语嫣,武功,段正淳,木婉清
可以看到有构建Trie树的过程。
关于性能分析，简单的可以使用time命令加上原来的命令查看。
time python extract_tags.py /Users/me/Downloads/novel/04.txt -k 10
输出结果如下
python extract_tags.py /Users/me/Downloads/novel/04.txt -k 10 14.49s user 0.30s system 99% cpu 14.922 total
接下来使用line_profile做性能分析，结果如下
这里对viterbi函数进行了测试，花的时间不多，速度很快。