Elasticsearch学习笔记(五):ES的基础分布式架构

  • ES对复杂分布式机制的透明隐藏性
  • ES的垂直扩容和水平扩容
  • 增加或减少节点时数据的rebalance
  • master 节点
  • 节点对等的分布式架构

1、Elasticsearch对复杂分布式机制的透明隐藏特性

ES是一套分布式系统,分布式是为了应对大数据量。

隐藏了复杂的分布式机制

分片机制:我们之前所做的插入document,我们并没有关心过数据是怎么进行分片的,分到哪一个shard当中去。

cluster discovery:集群发现机制,在本系列第一章的时候,我们又启动了一台ES进程,并未做任何操作,这一个进程就自动被es发现进而加载到了集群当中,还接收了部分数据(replica shard),从而es的集群状态status才由yellow转变为了green。

shard负载均衡:假如现在有三个节点,总共25个shard要被分配到这三个节点上,es会自动帮我们均匀分配,以保证我们每个节点的读写负载均衡。


2、Elasticsearch的垂直扩容与水平扩容

垂直扩容:采购更强大的服务器,成本非常高昂,而且会有瓶颈,假设世界上最强大的服务器容量就是10T,但是当你的总数据量达到5000T的时候,你要采购多少台最强大的服务器啊

水平扩容:业界经常采用的方案,采购越来越多的普通服务器,性能比较一般,但是很多普通服务器组织在一起,就能构成强大的计算和存储能力

普通服务器:1T,1万,100万
强大服务器:10T,50万,500万

扩容对应用程序的透明性


3、增减或减少节点时的数据rebalance

在es集群当中,总有一些节点的负载会重一些,当有新的节点加入es集群当中时,es会自动进行资源的重分配,以尽量的保证最佳的节点负载均衡

4. master节点

(一)master节点管理集群的元数据,比如说索引的创建和删除,维护索引元数据。节点的增加和删除,维护集群的元数据。

(二)默认情况下,会自动选择出一台节点,作为master节点。

(三)master节点不承载所有的请求,所以不会有单点瓶颈。

5. 节点平等的分布式架构

(一)每个节点都能接收所有的请求

(二)任何一个节点接收到请求后会自动把请求路由到有相关数据的节点上去

(三)最原始接收到请求的节点会负责采集相关节点的响应数据,最后由该节点把响应数据传递回客户端。

你可能感兴趣的:(Elasticsearch)