stanford segmenter加入自定义用户词典

用stanford segmenter在命令行的方式下对一个文本文件的句子进行分词处理,其中输入文件为:preprocess-$1.txt,输出文件为:$1_seged.txt,命令如下所示:

java -mx1g -cp seg.jar edu.stanford.nlp.ie.crf.CRFClassifier
     -sighanCorporaDict data
     -loadClassifier data/ctb.gz
     -testFile preprocess-$1.txt
     -inputEncoding UTF-8
     -sighanPostProcessing true
     -serDictionary data/dict-chris6.ser.gz,data/cedict.txt,data/ntusd.txt
     -keepAllWhitespaces false >$1_seged.txt


       其中 data/dict-chris6.ser.gz为自带的词典库压缩文件,data/cedict.txt,data/ntusd.txt为用户自定义的两个词典文件,词典文件的数据格式是每一行为一个词。
    

你可能感兴趣的:(分词,NLP)