Opensearch架构及引擎原理

开放搜索(OpenSearch)是一款结构化数据搜索托管服务。

特点:单应用亿级别文档搜索 ,毫秒级别查询延迟 ,万级别QPS

数据的导入与查询

导入:实时数据进入import子系统的数据导入模块,之后经过格式转换和数据解析进入到结构化存储系统,然后被import子系统的导出模块,经过处理后放入到实时消息系统Swift中,HA3订阅Swift中的数据,拿到数据后在内存构建索引并提供服务。

查询:通过查询聚合服务,查询HA3中的信息并返回。

Opensearch架构及引擎原理_第1张图片

HA3引擎原理

    分布式实时搜索系统

Opensearch架构及引擎原理_第2张图片

Admin是整个系统的大脑,负责节点角色分配、调度决策、FailOver处理、状态监测、动态扩容等

Amonitor是系统的性能状态监控模块,收集和展示整个系统所有节点的性能参数

QRS是查询解析和改写服务,是系统对外的搜索接口。Proxy是搜索代理模块,负责接收QRS的查询请求,并转发给下辖的所有Searcher节点

Searcher节点执行实际的查询匹配计算,将搜索结果汇总后回传给QRS

DeployExpress是分布式链式数据实时分发系统,负责将离线集群构建好的索引数据分发到各个Searcher节点.

DeployExpress的最大亮点是将1份数据分发多份拷贝到Searcher节点,其分发时间接近单份拷贝的数据分发时间,而且单节点故障能自动恢复,不影响数据拷贝

部署架构

HA3的多集群异构部署,一般用来实现冷热数据分层查询、异构数据查询等功能。OpenSearch利用异构逻辑集群优化资源配置,提升系统服务能力和降低机器成本。不同特性的应用实例被分配在不同的逻辑Cluster中



你可能感兴趣的:(技术积累)