[图片上传中。。。（1）] [toc]
0 依赖的类库
- 搜索引擎:Whoosh这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低.
- 应用框架:django-haystack,用来实现django和搜索引擎之间的链接,由于只支持英文分词,用jieba分词代替.
- 分词工具: jieba分词,他的ChineseAnalyzer 支持 Whoosh 搜索引擎.
pip install Whoosh jieba django-haystack
1 django-haystack配置.
1.1 setting中添加配置
配置Django项目的settings.py里面的 INSTALLED_APPS
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
# haystack先添加，
'haystack',
# Then your usual apps... 自己的app要写在haystakc后面
'blog',
]
因为是要修改源码,要添加修改了haystack的文件进入环境变量中:
比如,我把要修改的源码的包都放在extra_apps中
在setting中加
sys.path.append(os.path.join(BASE_DIR, "extra_apps"))
django-haystack的搜索引擎设置,以及索引储存的位置
在setting中加
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
},
}
1.2 修改django-haystack的分词器
找到源码中的whoosh_backend.py文件
# 引入
from jieba.analyse import ChineseAnalyzer
#将StemmingAnalyzer()替换为 ChineseAnalyzer()
schema_fields[field_class.index_fieldname] = TEXT(stored=True, analyzer=StemmingAnalyzer()), field_boost=field_class.boost, sortable=True)
下面就可以正常配置
2 索引的建立
如果你想针对某个app例如newapp做全文检索，则必须在newapp的目录下面建立search_indexes.py文件，文件名不能修改。内容如下：
from haystack import indexes
from myapp.models import Hospital
class SetMealIndex(indexes.SearchIndex, indexes.Indexable):
text = indexes.CharField(document=True, use_template=True) # 必须要建立全文搜索的字段
# items为model中的字段
items = indexes.MultiValueField(indexed=True, stored=True) # 这是个多对多的键
def get_model(self):
# 用于搜索的model
return SetMeal
def index_queryset(self, using=None):
# 得到特定条件的queryset
return self.get_model().objects2api.all()
def prepare_category(self, obj):
# 得到多对多键的项目的name
return [item.name for item in obj.items.all()]
class HospitalIndex(indexes.SearchIndex, indexes.Indexable):
text = indexes.CharField(document=True, use_template=True)
def get_model(self):
return Hospital
def index_queryset(self, using=None):
return self.get_model().objects2api.all()
每个索引里面必须有且只能有一个字段为document=True，这代表haystack 和搜索引擎将使用此字段的内容作为索引进行检索(primary field)。其他的字段只是附属的属性，方便调用，并不作为检索数据。
- 数据模板
路径为yourapp/templates/search/indexes/yourapp/yourmodel_text.txt
我这边可以没用到就随便写了一下
{{ object.name }}
{{ object.description }}{{ object.price }}{{ object.fit_gender }}{% for item in object.items.all %}{{ item.name }}{% endfor %}
最后建立索引
python manage.py rebuild_index
3 接口代码
class SearchSetMealListViewSet(mixins.ListModelMixin, viewsets.GenericViewSet): serializer_class = SearchSetMealSerializer pagination_class = StandardResultsSetPagination def list(self, request, *args, **kwargs): q = request.GET.get('q', '') # todo优化分词方法 s = SearchQuerySet() sqs = s.auto_query(q) province = request.region.province city = request.region.city q1 = Q(hospitals__province=province, hospitals__city=city) q2 = Q(hospitals__province='', hospitals__city='') sqs = sqs.filter(q1 | q2).models(SetMeal) # 过滤特定的model page = self.paginate_queryset(sqs) if page is not None: serializer = self.get_serializer([i.object for i in page if i.object], many=True) return self.get_paginated_response(serializer.data) serializer = SearchSetMealSerializer([i.object for i in sqs if i.object], many=True, context={'request': request}) return Response(serializer.data)
索引的更新
因为实时的更新太过于消耗资源了,采用celery的周期任务,周期定为10分种
@task()
def update_index():
logger.info('--------------更新索引开始--------------')
from haystack.management.commands import update_index
update_index.Command().handle()
logger.info('--------------更新索引结束--------------')
django-celery不在这里详细说明了,请百度.提醒一点
运行一般需要两行命令,不仅仅需要celery beat.
python manage.py celery beat
python manage.py celery worker