Sphinx 安装记录

前言

如果你想支持中文全文检索的话，请参考 coreseek 安装记录。
如果你已经安装 sphinx 或者 coreseek, 只是想查找怎么配置和使用 sphinx 和 coreseek 的话，请参考 coreeek 和 sphinx 的配置与使用

下面的表纯属文章虚构，由于配置内容较多，部分省略，具体可以参考官方文档。

想吐槽一句：编译安装真浪费时间， configure && make && make install 一个软件就需要几十分钟。我这安装四五个，几个小时就没了。

安装

安装前需要先去官网下载源码.
目前最新版本是 2.2.5-release, 点击下载即可。

当然，如果你想直接在命令行下载，直接下载我这个版本也行，就是不知道会不会版本太久。

1. tiankonguse:~ $ cd /usr/local/src
2. tiankonguse:src $ su root -
3. tiankonguse:src # wget http://sphinxsearch.com/files/sphinx-2.2.5-release.tar.gz

然后解压缩，命令就不用说了吧

1. tiankonguse:src # tar zxvf filename.tar.gz

后来听说 sphinx 有两种安装方式

1. 单独安装，查询时采用API调用。
2. 使用插件方式把sphinx编译成一个mysql插件并使用特定的sql语句进行检索。

这里我选择第一种方式，毕竟把 sphinx 和 mysql 耦合在一起的话， 将来将成为一个很大的坑。

sphinx 查询出来的是 id, 然后会进行二次查询得到想要的数据。

下面的命令都是在 root 权限下操作的。

1. tiankonguse:sphinx-2.2.5-release # ./configure –prefix=/usr/local/sphinx
3. tiankonguse:sphinx-2.2.5-release # make && make install

–prefix 指向sphinx的安装路径
–with-mysql 指向mysql的安装路径
不指定时按默认路径选择

安装完毕后查看一下 /usr/local/sphinx 下是否有 三个目录 bin etc var，如有，则安装无误！

1. tiankonguse:sphinx-2.2.5-release # cd /usr/local/sphinx/
3. tiankonguse:sphinx # ls
4. bin/ etc/ share/ var/

配置

mysql 数据源

由于我使用的是 mysql, 所以需要为 sphinx 创建对应的db。

1. # server：127.0.0.1
2. # database : d_sphinx_testdb
3. # table: t_sphinx_article
5. CREATE SCHEMA IF NOT EXISTS `d_sphinx_testdb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;
7. USE `d_sphinx_testdb` ;
9. CREATE TABLE `d_sphinx_testdb`.`t_sphinx_article` (
10. `c_id` INT NOT NULL AUTO_INCREMENT,
11. `c_title` VARCHAR(45) NOT NULL DEFAULT '',
12. `c_content` VARCHAR(45) NOT NULL DEFAULT '',
13. `c_comment_num` VARCHAR(45) NOT NULL DEFAULT 0,
14. PRIMARY KEY (`c_id`))
15. ENGINE = InnoDB
16. DEFAULT CHARACTER SET = utf8;

sphinx 配置文件

首先需要找到需要配置的文件以及需要配置的内容。

我们需要配置的是 /usr/local/sphinx/sphinx.conf 文件里面的数据库的信息。

1. tiankonguse:sphinx # cd etc
3. tiankonguse:etc #
5. tiankonguse:etc # ls
6. example.sql sphinx-min.conf.dist sphinx.conf.dist
8. tiankonguse:etc # cp sphinx.conf.dist sphinx.conf
10. tiankonguse:etc # ls
11. example.sql sphinx-min.conf.dist sphinx.conf sphinx.conf.dist
13. tiankonguse:etc $ vi sphinx.conf

可以看到下面的内容设置数据源 source

1. #############################################################################
2. ## data source definition
3. #############################################################################
5. source d_sphinx_testdb
6. {
7. # data source type. mandatory, no default value
8. # known types are mysql, pgsql, mssql, xmlpipe, xmlpipe2, odbc
9. type = mysql # 数据库类型
11. # some straightforward parameters for SQL source types
12. #数据库主机地址
13. sql_host = 127.0.0.1
15. #数据库用户名
16. sql_user = root
18. #数据库密码
19. sql_pass = pwd
21. #数据库名称
22. sql_db = d_sphinx_testdb
24. # 数据库采用的端口
25. sql_port = 3306
27. # pre-query, executed before the main fetch query
28. # multi-value, optional, default is empty list of queries
29. #执行sql前要设置的字符集
30. sql_query_pre = SET NAMES UTF8
32. # main document fetch query mandatory, integer document ID field MUST be the first selected column
33. # 全文检索要显示的内容，在这里尽可能不使用where或group by，将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高
34. # select 出来的字段必须至少包括一个唯一主键(ARTICLESID)以及要全文检索的字段，你计划原本在where中要用到的字段也要select出来，这里不需要使用orderby
35. sql_query = SELECT c_id,c_title,c_content,c_comment_num FROM t_sphinx_article
37. #####以下是用来过滤或条件查询的属性############
39. #sql_attr_ 开头的表示一些属性字段，你原计划要用在where,orderby,groupby中的字段要在这里定义
41. # unsigned integer attribute declaration
42. sql_attr_uint = c_comment_num # 无符号整数属性
43. sql_attr_uint = c_id # 无符号整数属性
45. # boolean attribute declaration
46. # sql_attr_bool = is_deleted
48. # bigint attribute declaration
49. # sql_attr_bigint = my_bigint_id
51. # UNIX timestamp attribute declaration
52. # sql_attr_timestamp = posted_ts
54. # floating point attribute declaration
55. # sql_attr_float = lat_radians
57. # string attribute declaration
58. sql_field_string = c_title
59. sql_field_string = c_content
61. # JSON attribute declaration
62. # sql_attr_json = properties
64. # combined field plus attribute declaration (from a single column)
65. # stores column as an attribute, but also indexes it as a full-text field
66. #
67. # sql_field_string = author
69. }

然后设置数据源的索引

1. index d_sphinx_testdb_index
2. {
3. #数据源名
4. source = d_sphinx_testdb
6. # 索引记录存放目录
7. path = /usr/local/sphinx/var/data/d_sphinx_testdb_index
9. # 文档信息存储方式
10. docinfo = extern
12. #缓存数据内存锁定
13. mlock = 0
15. # 形态学
16. morphology = none
18. # 索引的词最小长度
19. min_word_len = 1
21. #数据编码
22. charset_type = utf-8
24. #最小前缀
25. min_prefix_len = 0
27. #最小中缀
28. min_infix_len = 1
29. }
31. indexer
32. {
33. # 内存限制
34. mem_limit = 32M
35. }
37. searchd
38. {
39. # 监听端口
40. listen = 9312
42. # 服务进程日志
43. log = /usr/local/sphinx/log/searchd.log
45. # 客户端查询日志
46. query_log = /usr/local/sphinx/log/query.log
48. # 请求超时
49. read_timeout = 5
51. # 同时可执行的最大searchd 进程数
52. max_children = 30
54. #进程ID文件
55. pid_file = /usr/local/sphinx/log/searchd.pid
57. # 查询结果的最大返回数
58. max_matches = 1000
60. # 是否支持无缝切换，做增量索引时通常需要
61. seamless_rotate = 1
62. }

创建索引

进入 bin 目录，执行

1. ./indexer 索引名
3. Sphinx 2.2.5-id64-release (r4825)
4. Copyright (c) 2001-2014, Andrew Aksyonoff
5. Copyright (c) 2008-2014, Sphinx Technologies Inc (http://sphinxsearch.com)
7. using config file '/usr/local/sphinx/etc/sphinx.conf'...
8. indexing index 'd_sphinx_testdb_index'...
9. collected 1000 docs, 0.4 MB
10. sorted 0.0 Mhits, 100.0% done
11. total 1000 docs, 408329 bytes
12. total 0.041 sec, 9739278 bytes/sec, 23851.54 docs/sec
13. total 1006 reads, 0.002 sec, 1.0 kb/call avg, 0.0 msec/call avg
14. total 14 writes, 0.001 sec, 106.9 kb/call avg, 0.1 msec/call avg

启动停止 sphinx

1. # 启动
2. /usr/local/sphinx/bin/searchd
4. #停止
5. /usr/local/sphinx/bin/searchd --stop

测试

测试前需要安装测试环境，以前 sphinx 的 bin 目录里面有个自带 search 程序，新版本没有了，所以只好使用api方式调用了。

这里我采用 linux + apache + php + sphinx 的方式来完整测试吧。

apache 源码安装

Apache 的最新版本请参考 官网下载页面.
我这里下载的是 httpd-2.4.10 最新的 apache 源码版本。

1. wget http://apache.dataguru.cn//httpd/httpd-2.4.10.tar.gz
2. tar zxvf httpd-2.4.10.tar.gz
3. cd httpd-2.4.10/
4. ./configure --prefix=/usr/local/apache --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util --enable-so
5. make && make install
6. lsof -i # 查看端口占用情况
8. /usr/local/apache/bin/apachectl -k start

然后访问 127.0.0.1:8080 就可以看到 It works! 了。

php 源码安装

php 目前的最新版本 5.6.2, 建议去官网下载页下载最新版本

1. wget http://cn2.php.net/distributions/php-5.6.2.tar.gz
2. tar zxvf php-5.6.2.tar.gz
3. cd php-5.6.2
4. ./configure --prefix=/usr/local/php --with-apxs2=/usr/local/apache/bin/apxs --with-mysql --enable-sockets --enable-shmop
5. make && make install

配置 apache 支持 php

1. DirectoryIndex index.php index.html
2. AddType application/x-httpd-php .php
4. #调用 PHP 模块
5. LoadModule php5_module modules/libphp5.so
7. #特定的扩展名解析成 PHP
8. <FilesMatch \.php$>
9. SetHandler application/x-httpd-php
10. FilesMatch>

php 测试

1. php
2. include('api/sphinxapi.php');
3. $sphinx = new SphinxClient();
4. $sphinx->setServer('127.0.0.1', 9312);
5. $query =$_GET['query'];
6. $res = $sphinx->query($query, 'd_sphinx_testdb_index');
7. echo "

8. query = $query

9. ";
10. echo "

    "; 

11. print_r($res);
12. echo " ";
13. ?>

错误集

libmysqlclient.so.18

但是我报下面的错误

1. ./indexer: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object file: No such file or directory

原因：这主要是因为你安装库后,没有配置相应的环境变量.可以通过连接修正这个问题

1. sudo ln /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

但是还是报错，原来添加一个动态库后需要重新加载动态库。

1. tiankonguse:bin # ldconfig

Invalid cross-device link

但是我又报错了

1. ln: creating hard link `/usr/lib/libmysqlclient.so.18 ' => `/usr/local/mysql/lib/libmysqlclient.so.18': Invalid cross-device link

于是我只好创建软连接了。

1. sudo ln -s /usr/local/mysql/lib/libmysqlclient.so.18 /usr/lib/libmysqlclient.so.18

查看检索是否启动

1. tiankonguse:bin # ps -ef | grep search
2. tiankonguse 9601 1 0 Oct28 ? 00:00:00 xs-searchd: master
3. tiankonguse 9602 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[1]
4. tiankonguse 9603 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[2]
5. tiankonguse 9604 9601 0 Oct28 ? 00:00:00 xs-searchd: worker[3]
6. root 32637 18048 0 21:12 pts/0 00:00:00 grep search

WARNING attribute not found

执行索引的时候，看到这个错误，搜索了一下，原来主键不能加入到属性中去。

1. WARNING: attribute 'c_id' not found - IGNORING

参考文档 数据源配置：mysql数据源 和 WARNING: zero/NULL document_id, skipping .

ERROR index No fields in schema

1. ERROR: index 'd_sphinx_testdb_index': No fields in schema - will not index

还是在这里找到了原因。

使用sql_attr设置的字段，只能作为属性，使用SphinxClient::SetFilter()进行过滤；
未被设置的字段，自动作为全文检索的字段，使用SphinxClient::Query(“搜索字符串”)进行全文搜索

而我把所有字段都设置为 sql_attr 了，于是把需要全文索引的字段去掉。终于跑出一些接过来。

但是还有一些问题。

WARNING sql_query_info removed from Sphinx

1. WARNING: key 'sql_query_info' was permanently removed from Sphinx configuration. Refer to documentation for details.
2. WARNING: key 'charset_type' was permanently removed from Sphinx configuration. Refer to documentation for details.

好吧，我说怎么没有在配置文件中看到 sql_query_info 的说明呢，原来已经删除了，那就注释掉吧。

word overrun buffer

还是搜主键搜到的原因是我的主键不是一个整数，而 sphinx 要求必须是一个整数。
但是添加整数主键后还是出现这个问题，于是继续查找，最后找到是 sphinx 的一个 bug.但是 google 搜索，又没有搜索出来，于是猜想可能哪里配置不对。

后来启动 ngram， 设置ngram_chars后，这个警告就没有了。

1. WARNING: source : skipped 300 document(s) with zero/NULL ids
2. WARNING: word overrun buffer, clipped!!!
3. WARNING: 601 duplicate document id pairs found

APR not found

在 config apache 的时候，提示下面的错误。

1. configure: error: APR not found. Please read the documentation.

在官网的安装页面 可以看到有个 Requirements 类表。

apache 需要依赖于下面的一些东西。

• APR and APR-Util
• Perl-Compatible Regular Expressions Library (PCRE)
• Disk Space
• ANSI-C Compiler and Build System
• Accurate time keeping
• Perl 5 [OPTIONAL]

然后我们可以 apr 的官网下载对应的东西即可。

其实就是在 apr下载页面 找到下载链接 .

当然我们还要下载 apr-util .

安装apr

1. wget http://apache.fayea.com/apache-mirror//apr/apr-1.5.1.tar.gz
2. tar zxvf apr-1.5.1.tar.gz
3. cd apr-1.5.1
4. ./configure --prefix=/usr/local/apr
5. make && make install
7. #提示
8. Libraries have been installed in:
9. /usr/local/apr/lib
11. If you ever happen to want to link against installed libraries
12. in a given directory, LIBDIR, you must either use libtool, and
13. specify the full pathname of the library, or use the `-LLIBDIR'
14. flag during linking and do at least one of the following:
15. - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
16. during execution
17. - add LIBDIR to the `LD_RUN_PATH' environment variable
18. during linking
19. - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
20. - have your system administrator add LIBDIR to `/etc/ld.so.conf'

#### 安装 apr-util

1. wget http://mirrors.cnnic.cn/apache//apr/apr-util-1.5.4.tar.gz
2. tar zxvf apr-util-1.5.4.tar.gz
3. cd apr-util-1.5.4
4. ./configure --prefix=/usr/local/apr-util
6. #提示不能找到 APR， 于是指定 APR 的位置
7. configure: error: APR could not be located. Please use the --with-apr option.
10. ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr/
11. make && make install
13. # 运行完后得到下面的提示
14. Libraries have been installed in:
15. /usr/local/apr-util/lib
17. If you ever happen to want to link against installed libraries
18. in a given directory, LIBDIR, you must either use libtool, and
19. specify the full pathname of the library, or use the `-LLIBDIR'
20. flag during linking and do at least one of the following:
21. - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
22. during execution
23. - add LIBDIR to the `LD_RUN_PATH' environment variable
24. during linking
25. - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
26. - have your system administrator add LIBDIR to `/etc/ld.so.conf'
28. See any operating system documentation about shared libraries for
29. more information, such as the ld(1) and ld.so(8) manual pages.

Address already in use

1. /usr/local/apache/bin/apachectl -k start
3. AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1. Set the 'ServerName' directive globally to suppress this message
4. (98)Address already in use: AH00072: make_sock: could not bind to address 0.0.0.0:80
5. no listening sockets available, shutting down
6. AH00015: Unable to open logs

不管那么多，直接修改 ServerName 和监听端口。

1. Listen 8080
2. ServerName 127.0.0.1:8080

然后再启动就成功了。

php页面自动下载

php和 apache 都安装完之后，访问写的一个php页面，浏览器却要下载页面。

于是查看 php 的官方文档，还真找到了。

简单的说就是编译 apache 的时候，需要添加启动so选项

1. ./configure --enable-so

编译php的时候，指定加载为 apache 模块，并使用 mysql.

1. ./configure --with-apxs2=/usr/local/apache2/bin/apxs --with-mysql

sphinxclient No such file

编写了一个php测试 sphinx ,但是提示没有这个文件，那就需要去网上找一个。

1. PHP Warning: include(sphinxclient.php): failed to open stream: No such file or directory in /usr/local/apache/htdocs/index.php on line 2

unexpected T_STRING

下载 sphinx api 文件后，提示下面的错误

1. PHP Parse error: syntax error, unexpected T_STRING in /usr/local/apache/htdocs/api/sphinxapi.php on line 28

在这里找到解决方案的,原来下载的文件中由特殊字符，与我处理了一下特殊字符就ok了。

unknown key name ‘U’

在配置中文的时候，提示下面的错误，后来发现是由于粘贴的字符串中反斜杠有问题，反斜杠后面不能有空白。

1. ERROR: unknown key name 'U' in /usr/local/sphinx/etc/sphinx.conf line 515 col 6.
2. FATAL: failed to parse config file '/usr/local/sphinx/etc/sphinx.conf'

参考资料

• Sphinx 2.2.5-release reference manual 推荐
• Sphinx中文入门指南 最后修改：2010年1月23日
• 数据源配置：mysql数据源
• sphinx系列之sphinx安装和运行测试(二)
• PHP+MySQL+SPHINX安装配置与测试
• sphinx检索语法与匹配模式备忘
• Linux下MySQL、Apache、PHP源码安装全程实录（CentOS 6.4）
• 基于apache + mysql + php编译安装过程详解

undefined function socket_create

在这里找到了答案，原来默认编译安装的 php不支持 socket,需要加上支持socket的参数 --enable-sockets。

1. Fatal error: Call to undefined function socket_create()

undefined function shmop_open

和上面的问题一样，编译php时没有开启shmop_open，加上 ` –enable-shmop`参数即可。参考这里

1. Fatal error: Call to undefined function shmop_open() in

expected searchd protocol version

得到下面的错误的原因是配错ip和host了。默认 sphinx的 post是9312，而我配成8080了.

1. expected searchd protocol version 1+, got version '0'