利用word分词来对文本进行词频统计

word分词中的 org.apdplat.word.WordFrequencyStatistics 类提供了词频统计的功能

命令行脚本的调用方法如下：

将需要统计词频的文本写入文件：text.txt
chmod +x wfs.sh & wfs.sh -textFile=text.txt -statisticsResultFile=statistics-result.txt
程序运行结束后打开文件statistics-result.txt查看词频统计结果

 

在程序中的调用方法如下：

//词频统计设置
WordFrequencyStatistics wordFrequencyStatistics =  new  WordFrequencyStatistics();
wordFrequencyStatistics.setRemoveStopWord( false );
wordFrequencyStatistics.setResultPath( "word-frequency-statistics.txt" );
wordFrequencyStatistics.setSegmentationAlgorithm(SegmentationAlgorithm.MaxNgramScore);
//开始分词
wordFrequencyStatistics.seg( "明天下雨，结合成分子，明天有关于分子和原子的课程，下雨了也要去听课" );
//输出词频统计结果
wordFrequencyStatistics.dump();
//准备文件
Files.write(Paths.get( "text-to-seg.txt" ), Arrays.asList( "word分词是一个Java实现的分布式中文分词组件，提供了多种基于词典的分词算法，并利用ngram模型来消除歧义。" ));
//清除之前的统计结果
wordFrequencyStatistics.reset();
//对文件进行分词
wordFrequencyStatistics.seg( new  File( "text-to-seg.txt" ),  new  File( "text-seg-result.txt" ));
//输出词频统计结果
wordFrequencyStatistics.dump( "file-seg-statistics-result.txt" );

 

第一句话的词频统计结果：

1 、下雨  2
2 、明天  2
3 、分子  2
4 、课程  1
5 、听课  1
6 、结合  1
7 、原子  1
8 、去  1
9 、成  1
10 、关于  1
11 、和  1
12 、也要  1
13 、有  1
14 、的  1
15 、了  1

 

第二句话的词频统计结果：

1 、分词  2
2 、的  2
3 、基于  1
4 、word  1
5 、组件  1
6 、词典  1
7 、ngram  1
8 、多种  1
9 、实现  1
10 、并  1
11 、利用  1
12 、消除歧义  1
13 、中文分词  1
14 、算法  1
15 、是  1
16 、分布式  1
17 、了  1
18 、提供  1
19 、模型  1
20 、来  1
21 、一个  1
22 、Java  1

 

http://my.oschina.net/apdplat/blog/417641