django中haystack+whoosh+jieba实现网站的全局搜索功能
一提起数据库关键搜索，相信大家都会想起like语句，django中也可以使用orm的contains进行查询，这种查询是非常耗时间的，对于小量数量还可以，但随着数据的增多，查询速度会急剧下降，因此网站中使用这种方式是非常不合理的。基于这种情况，许多全文搜索框架应运而生。
本来打算使用haystack+elasticsearch实现全局搜索，但windows的系统环境问题和windows版的docker让我几近崩溃，不得不放弃，我发誓有钱一定要买一台好电脑，起码可以装5个linux虚拟机的那种。
退而求其次，我打算使用haystack+whoosh+jieba实现网站的全局搜索功能，whoosh是一个纯python编写的搜索引擎，虽然速度不及java编写的elasticsearch，solr等，但对与一般的中小项目足够用了，最关键的一点是不用再搞各种java环境了。直接在项目中使用whoosh不是一件容易的事，因此需要用到haystack这个全文搜索框架，官网上说：Haystack为Django提供模块化搜索。它具有统一，熟悉的API，允许您插入不同的搜索后端（如Solr， Elasticsearch，Whoosh，Xapian等），而无需修改代码。whoosh自带的分词工具对于中文来说不是太友好，因此我使用了中文分词还算不错的jieba作为分词工具。
第一步：
安装django-haystack，whoosh，jieba
pip install django-haystack
pip install whoosh
pip install jieba
第二步：
配置settings
# 全文检索框架的配置
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine', # 使用whoosh引擎
'PATH': os.path.join(BASE_DIR, 'whoosh_index'), # 索引文件的路径
},
}
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor' # 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 10 # 指定搜索结果每页的条数
第二步：
生成索引文件
在包含被索引字段的models.py所在的app下新建一个search_indexes.py，名字固定。
在该py文件里创建索引类
from haystack import indexes
from Store.models import Goods
# 对某个类中的某些数据建立索引
class GoodsIndex(indexes.SearchIndex,indexes.Indexable):
# document=True说明这是一个索引字段，user_template=True表明通过模板来指明索引值由哪些模型类字段组成
text = indexes.CharField(document=True,use_template=True)
def get_model(self):
return Goods # 返回模型类
def index_queryset(self, using=None):
return self.get_model().objects.all() # 返回建立索引的数据
第三步：
创建模板文件
user_template=True表明通过模板来指明索引值由哪些模型字段组成，因此需要创建一个模板文件。
该模板文件要创建在templates下
search和indexes文件夹是固定不变的，Store文件夹和存放search_indexes.py文件的app名字相同，txt文件命名格式：所使用模型类类名小写_text.txt
在该文件下填写想要创建索引的字段，格式{{ objects.字段名 }}
# 指明需要生成索引的字段
{{ object.goods_name }} # 使用商品名称建立索引
{{ object.goods_description }} # 使用商品描述建立索引
{{ object.goods_detail }} # 使用商品详情建立索引
第四步：
建立索引数据
命令行输入python manage.py rebuild_index
第五步：
配置路由
修改前端页面
请求方式为“get”，name为“q”
第六步：
配置jieba分词
在安装的haystack文件下的backends文件夹下新建jiebaanalyzer.py文件。
文件夹里添加如下代码
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode,
**kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def JiebaAnalyzer():
return ChineseTokenizer()
然后备份whoosh_backend.py文件为whoosh_backend_bak.py，在whoosh_backend.py文件中导入新建的jiebaanalyzer.py
然后找到analyzer=StemmingAnalyzer()，将其改为JiebaAnalyzer()
最后点击保存。
这样jieba分词就配置完成了。
第七步：
重新建立索引数据
此时我们就可以愉快的使用haystack+whoosh+jieba进行全局搜索了。
当我们输入查找关键词后，haystack会使用whoosh进行匹配，并将相关的数据返回给我们。主要有三个数据：
query：搜索关键字
page：当前页的page对象，包含具体的商品信息
paginator：paginator对象
我们只需要将这些数据通过模板语言渲染到前端页面即可。