Lucene中文分词Paoding

Paoding中文分词库是一个使用Java开发的基于Lucene4.x的分词器，可结合到Lucene应用中的，为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白，致力于此并希翼成为互联网网站首选的中文分词开源组件。 Paoding中文分词追求分词的高效率和用户良好体验。
Paoding's Knives 中文分词具有极 高效率 和 高扩展性 。引入隐喻，采用完全的面向对象设计，构思先进。
高效率：在PIII 1G内存个人机器上，1秒 可准确分词 100万 汉字。采用基于 不限制个数的词典文件对文章进行有效切分，使能够将对词汇分类定义。能够对未知的词汇进行合理解析。
项目地址：http://git.oschina.net/zhzhenqin/paoding-analysis
测试实例：
下载最新项目（当前版本2.0.4）：
1.将项目中的dic复制到测试工程的根目录下，词典目录默认classpath:dic下，在paoding-dic-home.properties中配置
2.paoding-analysis-2.0.4.jar放在工程的lib下

项目pom配置：

<properties>
		<lucene.version>4.6.0</lucene.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>commons-logging</groupId>
			<artifactId>commons-logging</artifactId>
			<version>1.1.1</version>
		</dependency>
		<dependency>
			<groupId> org.apache.lucene</groupId>
			<artifactId>lucene-core</artifactId>
			<version> ${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId> org.apache.lucene</groupId>
			<artifactId>lucene-analyzers-common</artifactId>
			<version> ${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId> org.apache.lucene</groupId>
			<artifactId>lucene-queryparser</artifactId>
			<version> ${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId> org.apache.lucene</groupId>
			<artifactId>lucene-highlighter</artifactId>
			<version> ${lucene.version}</version>
		</dependency>
		<dependency>
			<groupId>net.paoding</groupId>
			<artifactId>paoding-analysis</artifactId>
			<version>2.0.4</version>
			<scope>system</scope>
			<systemPath>${project.basedir}/lib/paoding-analysis-2.0.4.jar</systemPath>
		</dependency>
	</dependencies>

测试实例：

package cn.slimsmart.lucene.paoding.demo;

import java.io.StringReader;

import net.paoding.analysis.analyzer.PaodingAnalyzer;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.RAMDirectory;
import org.apache.lucene.util.Version;

public class Test {

	public static void main(String[] args) throws Exception {
		String text="生成analyzer实例  将项目中的dic复制到工程的classpath下，默认配置";
		testSplitChinese(text);
		System.out.println("==============");
		testDemo(text);
	}
	/**
	 * 分词测试
	 */
	public static void testSplitChinese(String text) throws Exception{
		// 生成analyzer实例 将项目中的dic复制到工程的根下，若修改paoding.dic.home，更换位置
		Analyzer analyzer = new PaodingAnalyzer();
		// 取得Token流
		TokenStream tokenizer = analyzer.tokenStream("text", new StringReader(text));
		tokenizer.reset();
		// 添加工具类 注意：以下这些与之前lucene2.x版本不同的地方
		CharTermAttribute offAtt = (CharTermAttribute) tokenizer.addAttribute(CharTermAttribute.class);
		// 循环打印出分词的结果，及分词出现的位置
		while (tokenizer.incrementToken()) {
			System.out.print(offAtt.toString() + "\t");
		}
		tokenizer.close();
	}
	
	private static Document createDocument(String title, String content) {
		Document doc = new Document();
		doc.add(new TextField("title", title, Store.YES));
		doc.add(new TextField("content", content, Store.YES));
		return doc;
	}
	
	/**
	 * lucene简单实例
	 */
	public static void testDemo(String text) throws Exception{
		Analyzer analyzer = new PaodingAnalyzer();
		Directory idx = new RAMDirectory();
		IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_46,analyzer);
		IndexWriter writer = new IndexWriter(idx, iwc);
		writer.addDocument(createDocument("维基百科:关于中文维基百科", "维基百科:关于中文维基百科"));
		writer.commit();
		IndexSearcher searcher = new IndexSearcher(DirectoryReader.open(idx));
        System.out.println("命中个数:"+searcher.search(new QueryParser(Version.LUCENE_46,
                "title", analyzer).parse("title:'维基'"), 10).totalHits);
        writer.close();
	}
}

参考文章：
1. 在项目中使用paoding分词
2. Paoding Analyzer 庖丁解牛分词
3. Paoding分词器for Lucene4.x-Solr4.x