robbe+base64+Mysql简易有效的php全文索引实现
确实有很多方法来给php提供全文索引功能。
例如：
1。solr或者lucene，（需要安装对应的php客户端扩展）。
2。sphinx
3。基于任何一个数据库(key/value的最好)的模拟实现。
4。Mysql的全文索引。
5。自己给php加上全文索引扩展。（就因为这一点，可以说有太多的实现方法了）
本文要介绍的是第四种，使用MySQL的全文索引来实现php的全文检索功能。
一。前提
MySQL数据表引擎要是MyISAM （Mysql的ISAM索引结构的实现）
二。准备：
假设建立如下一个简易的文章表格：
+------+---------+-----------+--------------------------------------+
| Id | title | author | content | c_idx(text,fulltext) |
+------+---------+-----------+------------------------------------+
其中content为原文，c_idx为中文分词后的base64编码串接字符串，并且为fulltext索引。
请看下文。
三。实现分析：
1。如果要被检索的内容是英文的，那么要做的事情很简单，给要检索的字段加上一个fulltext索引就可以了。
2。如果被检索的内容是CJK字符集合或者是CJK和英文的混合的话那问题就来了。（我们都知道，MySQL的全文索引不支持中文分词）。
能不能把分词之后中文转换成英文呢？
对，我就是这么想的：
将文章内从content字段的内容进行中文分词，然后将得到的词条转换成英文，再将转换后的词条使用空格串接起来，写入数据库即可。
这需要解决两个问题：
（1）.中文分词：
这是搜索引擎的难点之一。速度和准确率是其瓶颈所在。
这里我推荐本人的开源php中文分词扩展robbe，robbe是建立在开源高性能中文分词组建friso上的一个php扩展。也是鄙人的作品。分词速度和准确率都不错。
（2）.将中文字符串转换成英文字符串：
使用什么编码呢？想来想去，试来试去，发现base64编码最适合了。（如果有发现更好的编码，请比吝赐教测叫，在此先谢了）。
base64的编码和解码速度都很快。
另外编码后的文本所占的空间比编码前的文本只多一点（比原来长1/3）。
(另外，base64编码后的字符串中可能会包含+和/字符，会影响要MySQL对英文分词，所系需要手动替换一下)
四。具体实现：
<?php
$content = $_POST['content']; //过滤什么的，就是你的事情啦。
//1.使用复杂模式，对文本进行分词。
//@see robbe文档 https://code.google.com/p/robbe/wiki/RobbeFunctions
$_result = rb_split($content, __RB_COMPLEX_MODE__);
//2.进行base64编码，并且使用空格串接分词结果。
$_str = '';
foreach ( $_result as $_value ) {
$_str .= ' '.base64_encode($_value);
}
//3.写入文本到fulltext数据表中。
?>
1.查询SQL：
select 字段列表 from #_table where Match(c_idx) Against(检索字符串); 或者： select #_files, Match(c_idx) Against(检索字符串) AS rank from #_table order by rank
返回的结果是自动根据相关度排序的。
2.或者使用bool模式：
select #_files from #_table where Match(c_idx) Against(检索字符串 IN BOOLEAN MODE)
常用布尔操作符：
+ 包含，词必须存在。
- 排除，词必须不出现。
> 包含，而且增加等级值
< 包含，而且减少等级值
() 吧词组合成一个表达式。
~ 取消一个词的排序值。
* 词尾通配符。
"" 定义一个短语。
例如：
select content from article where Match(c_idx) Against('+你好的base64编码字符串 +我们的base64编码字符串' IN BOOLEAN MODE)
查询包含你好和我们的记录。
-----------------------------------------------
select content from article where Match(c_idx) Against('你好的base64编码字符串 我们的base64编码字符串' IN BOOLEAN MODE)
查询至少包含“你好”和“我们”中的一个的记录。
-----------------------------------------------
select content from article where Match(c_idx) Against('“你好的base64编码字符串 我们的base64编码字符串”' IN BOOLEAN MODE)
搜索匹配短语：“你好 我们”
-----------------------------------------------
select content from article where Match(c_idx) Against('>你好的base64编码字符串 <我们的base64编码字符串' IN BOOLEAN MODE)
匹配“你好”和“我们”，并且增加“你好”的等级，减少“我们”的等级。
3.使用查询扩展：4.11或者更高版本才支持。
select #_files from #_table where Match(c_idx) Against(检索字符串 WITH QUERY EXPANSION)
五。效率分析：
对于一般数据来的网站，例如：个人博客，企业文章，新闻什么的，（60W以下的数据记录条数）
使用此方法可以比较好的解决搜索问题，但是数据量大时，并不是很好的解决办法。
30W的数据记录（平均大小10K），平均查询0.02sec的样子。还算不错吧。
索引的内容不一定是全文（即c_idx字段的内容），可以是人工筛选后的核心性词组合。那样可以达到更好的检索效果和更快的检索速度。