Wvtool学习(二):实现wvtool分词功能

接着学习wvtool，实现wvtool的分词功能，话不多述，直接上代码吧！

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.Reader;
import java.io.StringReader;

import edu.udo.cs.wvtool.config.WVTConfiguration;
import edu.udo.cs.wvtool.generic.inputfilter.SelectingInputFilter;
import edu.udo.cs.wvtool.generic.loader.UniversalLoader;
import edu.udo.cs.wvtool.generic.tokenizer.NGramTokenizer;
import edu.udo.cs.wvtool.generic.tokenizer.SimpleTokenizer;
import edu.udo.cs.wvtool.generic.wordfilter.StopWordFilterFile;
import edu.udo.cs.wvtool.main.WVTDocumentInfo;
import edu.udo.cs.wvtool.util.TokenEnumeration;

/*
 * 这个程序实现把html文档解码成纯文本的形式，并进行分词
 * 原html文档：text.html
 * 内容：


        雅虎新闻 </span> </span></li>
    
    
    
    <li><span><span class="comment">


        这是测试文档。


 * */

public class Demo01_1 {
    public static String pathString="D:\\工作管理\\weka学习\\wvtool-1.1\\wvtool-1.1\\examples\\data\\";
    public static void main(String[] args) throws Exception {
        /*
         * 1、实例化一个加载器
         * */
        UniversalLoader loader=new UniversalLoader();
        /*
         * 2、实例化一个文档信息类
         * */
        WVTDocumentInfo info=new WVTDocumentInfo(pathString+"text.html", "html", "utf-8", "chinese");
        /*
         * 3、把文档以输入流的方式加载到内存中
         * */
        InputStream stream=loader.loadDocument(info);
        /*
         * 4、实例化一个过滤器
         * InputFilter that automatically selects an appropriate filter
         * according to the the file ending. The following rules are used.
         * HTM, HTML, htm, html -> SimpleTagIgnoringReader
         *XML, xml -> XMLInputFilter
         *PDF, pdf -> PDFInputFilter
         *all other -> TextInputFilter
         * */
        SelectingInputFilter filter=new SelectingInputFilter();
        /*
         * 5、把html文档进行解码成纯文本文件
         * */
        Reader readers=filter.convertToPlainText(stream,info);
         /*
          * 6、将解码的文档输出
          * */
        BufferedReader reader=new BufferedReader(readers);

        String string=reader.readLine().toString();
         //由于解码出来的文档中包含了大量的空格，而且奇怪的是这些
         //空格的char值是9(十进制),所以就只能以这样的方式输出了
        string=string.replace(string.valueOf((char)9), "");
        //这里需要把string重新包装成Reader
        Reader reader2=new StringReader(string);
//      System.out.println(string);
        //结果：?雅虎新闻这是测试文档。
        /*
         * 7、分词
         * 我个人觉得这个分词其实很弱，好像只是依据你所设定的规则把句子断开，而不是真正意义上的分词
         * */
        NGramTokenizer tokenizer=new NGramTokenizer(2,new SimpleTokenizer());

        TokenEnumeration enumeration=tokenizer.tokenize(reader2, info);

        while(enumeration.hasMoreTokens()){
            System.out.print(enumeration.nextToken()+"|");
        }
    //结果： 雅虎|虎新|新闻|闻这|这是|是测|测试|试文|文档|   }
}

现在想想，其实还真不怎么难……

      如果真的想实现文本的分词，我个人觉得IK_Analyzer和ICT_CLAS不错，特别是ICT_CLAS，不仅分词，还实现了词性的标注，人名的识别！