给Lucene.NET增加中文分词
一、Lucene的.NET版本介绍
到目前为止，Lucene的C#移植有三个版本，最开始是NLucene，然后是Lucene.NET，当Lucene.NET转向商业化之后，SourceForge上又出现了dotLucene项目。
猎兔推出完全使用C#开发的，支持Lucene.NET的中文分词模块。
二、调用接口
seg.result.CnTokenizer，该类继承Lucene.Net.Analysis.TokenStream。
其中环境变量dic.dir指定数据文件路径，如：
"-Ddic.dir=d:/lg/work/SSeg/dic"
一个简单的使用例子是：
using System;
using System.Runtime.InteropServices;
using seg.result;
using Lucene.Net.Analysis;
namespace ConsoleApplication1
{
/// <summary>
/// Class1 的摘要说明。
/// </summary>
class Class1
{
/// <summary>
/// 应用程序的主入口点。
/// </summary>
[DllImport("Kernel32.DLL", SetLastError=true)]
public static extern bool SetEnvironmentVariable(string lpName, string lpValue);
[STAThread]
static void Main(string[] args)
{
SetEnvironmentVariable( "dic.dir", "d:/lg/work/SSeg/dic");
//
// TODO: 在此处添加代码以启动应用程序
//
testCnAnalyzer();
System.Console.Read();
}
public static void testCnAnalyzer()
{
System.IO.TextReader input;
CnTokenizer.makeTag= true;
string sentence = "邀请王振国今年9月参加在洛杉矶举行的30届美国治癌成就大奖会";
input = new System.IO.StringReader(sentence);
TokenStream tokenizer = new seg.result.CnTokenizer(input);
for (Token t = tokenizer.Next(); t != null; t = tokenizer.Next())
{
System.Console.WriteLine(t.TermText() + " " + t.StartOffset() + " "
+ t.EndOffset() + " "+t.Type());
}
}
}
}
三、输出结果介绍
输出结果中的词性标注代码和分词效果与当前Java版的一样，可以参考向Lucene增加中文分词功能。
四、试用版免费下载
点击这里下载免费试用版。