一文详解 | 开放搜索兼容Elasticsearch做召回引擎

简介：开放搜索发布开源兼容版，支持阿里云Elasticsearch做搜索召回引擎，本文详细介绍阿里云ES用户如何通过接入开放搜索兼容版丰富行业分词库，提升查询语义理解能力，无需开发、算法投入，即可获得淘系同款搜索效果。

开放搜索开源兼容版简介

很多客户在搭建搜索业务时更熟悉开源技术栈，会选择Elasticsearch/Solr等开源引擎负责搜索的召回环节，然而在召回引擎以外训练NLP、排序等算法能力，不仅耗时耗力，而且大部分处于高投入低回报的状态。

开放搜索开源兼容版的Elasticsearch引擎则是基于阿里巴巴在搜索领域的积累，开放搜索的Elasticsearch引擎实例作为一个阿里云Elasticsearch的插件，运行在用户的阿里云Elasticsearch集群中，提供阿里自研行业分词能力、Query分析理解能力，从而减少了用户对算法模块的投入，可以将更多精力投入到业务转化、产品功能等需求上。

业务流程图：

开放搜索兼容版优势

• 基于阿里巴巴多年词库积累及达摩院NLP技术，丰富Elasticsearch开源引擎分词库，提升搜索效果；

在通用分词基础上还增加行业分词能力，可覆盖电商、IT内容、教育、游戏、互娱等行业。

• 赋予Elasticsearch引擎Query理解能力，精准定位用户搜索意图；

通过对Query进行一系列智能语义分析（拼写纠错、同义词改写、词权重、停用词、实体识别）理解用户搜索意图，改写用户搜索Query，使召回结果更符合需求；

• 提供自定义分词、查询分析干预词典的能力，在开放搜索控制台配置后会即使生效

用户可根据自身业务进行调整和优化，高效响应搜索需求，提升搜索效果和用户体验；

开源兼容版ES引擎实例创建及配置

一、创建Elasticsearch引擎实例

1.登录开放搜索控制台，并进入实例管理-Elasticsearch引擎页面，点击创建应用：

2.页面会跳转至Elasticsearch搜索增强版售卖页，选择创建应用需要的商量类型、地域，填写好应用名称，选择资源组，最后点击立即购买即可：

3.创建成功后，即可在实例管理-Elasticsearch引擎页面查看新创建的应用实例：

二、配置Elasticsearch引擎实例

配置应用包含关联阿里云Elasticsearch实例、安装插件、配置完成三步：

实例管理-Elasticsearch引擎页面，找到待配置状态的实例，点击配置，进入关联阿里云Elasticsearch应用页面：

安装插件：

点击“确定”，则开始安装自定义插件（会触发Elasticsearch集群重启）：

配置成功，等待插件安装：

三、Elasticsearch引擎实例搜索测试

在阿里云Elasticsearch控制台实例详情页中确认开放搜索的“Elasticsearch搜索增强版自定义插件”是否已经安装：

登录Elasticsearch可视化控制台通过Dev Tools工具测试已安装的插件：

了解更多详细配置内容，查看产品文档：https://help.aliyun.com/docum...

客户案例

某新零售客户，打造1公里社区网店服务，为用户提供吃、喝、玩、乐一体化生活服务。

客户搜索业务痛点

自建搜索效果差，搜不准、搜不到直接影响用户体验；
缺乏行业分词库，自研难度大，开发周期长，难以响应业务需求；
成熟的搜索引擎涉及离线模块、在线模块、查询理解服务、算法平台等系统组成，所需大量开发、算法调优以及持续的复杂运维工作，自建成本高；

开源兼容版解决方案

调用开放搜索电商行业分词库

集成淘宝搜索同款电商分词器，训练语料来自淘宝搜索多年积累的百万级有标注的电商行业数据，可准确识别商品品牌、品类、产品特性等电商属性query；

调用电商查询语义理解功能

• 电商拼写纠错

用户输入的query并不总是正确的，错误的输入可能导致查询结果不符合预期或者是无结果，因此需要对用户的输入进行拼写检查。OpenSearch的查询分析中提供的拼写检查功能，对查询词中的错误进行纠正，给出正确的查询词。并根据纠错的可信度高低，决定当前查询是否用纠错后的词进行查询。

• 电商同义词

同义词功能主要是对查询词进行同义扩展，扩大召回和查询词同义的文档。

• 电商实体识别

全称命名实体识别（Named Entity Recognition，简称NER），指对查询词中的具有特定意义的语义实体进行识别。查询分析根据识别的结果，依据实体类型的权重对查询词进行改写，使得召回的文档符合查询的意图。

效果反馈

无需额外投入人力资源，在不改变现有ES使用习惯情况下，从了解到测试到接入上线短短15天就获得高质量搜索效果，企业有更多资源精力投入到产品功能和业务提升中去。

• 商品搜索无结果率30%降至5%以下，指标还在持续优化中；
• 搜索引导的业务转化率增长7%；
• 商家店铺搜索CTR提升5%，将直接影响拉动商家入住和广告营收；

原文链接
本文为阿里云原创内容，未经允许不得转载。