某人发布的倒排索引

 下载地址 http://libibase.googlecode.com/

主要功能:
  解析HTML
  中文分词(反向最大匹配,用trie实现)
  生成正向文档(我自己定义的格式,暂时是这样)
  生成倒排索引(分块 存储,bytecode压缩算法, 正文和快照采用zlib压缩)
  提交查询串检索(只实现了向量空间模型, 动态摘要还没完成)
  目前只有一个命令行测试工具hibase
  包内自带10w中文词库(doc目录下,gzip格式, 使用的时候需要解开)
  使用方法可以看README

接下来就是测试和优化,因为写的时候宏比较多,所以编译还是有点慢....呵呵

要一块学习的可以加我的MSN/GTAIL : [email protected]

顺便贴一个使用实例:
我用wget下了china unix的首页到/data/html目录下 /data/dict下是我的词典

./hibase --basedir=/tmp --dict=/data/dict/dict.txt --add --doc=/data/html/index.html --url=http://www.chinaunix.net/ --date="Thu, 03 Jul 2008 10:12:18 GMT" --charset="gbk" --query --request="chinaunix" --topN=1000
parsing document[[url]http://www.chinaunix.net/[/url]] time used:16825 microseconds
adding document[[url]http://www.chinaunix.net/[/url]] time used:47955 microseconds
parse query time used:36
read hits[1] posting time used:1897
Caculated 1 documents time used:22
read 1 documents content time used:1404
(0) title[ChinaUnix.net = 全球最大的Linux/Unix应用与开发者社区 = IT人的网上家园]
summary[(null)]
url[[url]http://www.chinaunix.net/[/url]]
size[84892]date[Thu, 03 Jul 2008 10:12:18 GMT]

search [chinaunix] time used:3502