中文全文检索之coreseek(一)
一、安装
关于coreseek的相关介绍，可通过网址：http://www.coreseek.cn 学些。下面直接进入主题。
1、解压
#tar -zxvf coreseek-4.1-beta.tar.gz
#cd coreseek-4.1-beta
2、安装中文分词包
进入中文分词安装目录
#cd mmseg-3.2.14/
安装中文分词包，我的路径是/share_folder/source/sphinx/mmseg/
# ./configure --prefix=/share_folder/source/sphinx/mmseg/
#make && make install
注意，在./configure的时候，可能会报：
config.status: error: cannot find input file: src/Makefile.in
直接运行如下命令（系统中如果没有automake工具，得安装）：
#automake
再次运行./configure 即可进行配置了，安装好后，进入安装目录的bin目录下，可运行
mmseg文件。
3、把sphinx与coreseek中文分词包结合起来
进入sphinx目录
#cd /share_folder/source/sphinx/coreseek-4.1-beta/csft-4.1
#./configure --prefix=/share_folder/source/sphinx/csft/ \
--with-mmseg=/share_folder/source/sphinx/mmseg/bin/ \
--with-mmseg-includes=/share_folder/source/sphinx/mmseg/include/mmseg \
--with-mmseg-libs=/share_folder/source/sphinx/mmseg/lib/
#make && make install
二、生成数据源
coreseek自带用于mysql测试的数据库表数据，在csft安装的etc目录下(example.sql)。
运行如下命令：
#mysql -u root < /share_folder/source/sphinx/csft/etc/example.sql
在mysql数据库(test)的表documents中将生成测试用数据，可以用sql语句去数据库
中进行查询。
三、coreseek配置文件csft.conf配置
1、拷贝配置文件，coreseek中的默认配置文件名是csft.conf
#cp /share_folder/source/sphinx/csft/etc/sphinx.conf.dist csft.conf
2、配置支持中文分词，此处只写出更改的配置。
该配置文件中，主要由4个部分组成：
sourece --------------------配置数据源
index --------------------配置索引
indexer --------------------配置索引内存相关
searchd --------------------配置索引服务器
在index部分：
#stopwords = G:\data\stopwords.txt
#wordforms = G:\data\wordforms.txt
#exceptions = /data/exceptions.txt
#支持中文分词
charset_type =zh_cn.utf-8
#安装中文分词的路径
charset_dictpath =/share_folder/source/sphinx/mmseg/etc/
四、生成索引
安装好源码后，在sphinx安装目录下(/share_folder/source/sphinx/csft/bin)，有3个工具
文件：
indexer -------------------------生成索引命令
search --------------------------测试查询命令
searchd --------------------------搜索引擎服务器，测试api的时候，需要启动这个命令
1、建立索引
#cd /share_folder/source/sphinx/csft/bin
#./indexer test1
生成索引的时候报：
./indexer: error while loading shared libraries: libmysqlclient.so.15: cannot open shared \
object file: No such file or directory
这主要是因为你安装了一些库后，没有能够配置相应的环境变量，可以通过连接的
式修正这个问题。
2、测试搜索
#./search test (搜索关键字 test)
不出错的话，将得到如下结果：
[root@localhost bin]# ./search test
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2011,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file '/share_folder/source/sphinx/csft/etc/csft.conf'...
index 'test1': query 'test ': returned 3 matches of 3 total in 0.030 sec
displaying matches:
1. document=1, weight=2, group_id=1, date_added=Sun Feb 24 02:23:37 2013
id=1
group_id=1
group_id2=5
date_added=2013-02-24 02:23:37
title=test one
content=this is my test document number one. also checking search within phrases.
。。。。。。
words:
1. 'test': 3 documents, 5 hits
index 'test1stemmed': query 'test ': returned 3 matches of 3 total in 0.002 sec
displaying matches:
1. document=1, weight=2, group_id=1, date_added=Sun Feb 24 02:23:37 2013
id=1
group_id=1
group_id2=5
date_added=2013-02-24 02:23:37
title=test one
content=this is my test document number one. also checking search within phrases.
2. document=2, weight=2, group_id=1, date_added=Sun Feb 24 02:23:37 2013
。。。。。。
words:
1. 'test': 3 documents, 5 hits
3、 Api测试
源码中自带了几个版本的api，包括php、java、c语言等api。下面仅以c语言api
为例。进入/coreseek-3.2.14/csft-3.2.14/目录，里面有个api文件夹，libsphinxclient即是
c语言api。编译api：
#cd libsphinxclient
#./configure
#make
编译完后，将在该目录下生成可执行文件test。test.c中是查询关键字test。可在
test_query函数中修改。执行查询前，先启动搜索服务器swarchd。
#/share_folder/source/sphinx/csft/bin/searchd (加上 --stop将停止该服务)
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2011,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file '/share_folder/source/sphinx/csft/etc/csft.conf'...
listening on all interfaces, port=9312
然后运行可执行文件test，不出错的话，将显示查询结果。查询的时候，报：
ERROR connection to localhost failed (errno=111, msg=Connection）
我的是没有把localhost与127.0.0.1映射起来，所以会报这个错，如下命令可修正。
#echo "127.0.0.1 `hostname` localhost localhost.localdomain" >/etc/hosts
以上，简单测试结束。