Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移

一 序

  本文属于极客时间Elasticsearch核心技术与实战学习笔记系列。

二 Primary Shard - 提升系统存储容量

分片是 ES 分布式储存的基石

  • 主分片 / 副本分片

通过主分片,将数据分布在所有节点上

  • Primary Shard , 可以将一份索引的数据,分散在多个 Data Node 上,实现储存的水平扩展
  • 主分片(Primary Shard)数在索引创建时候指定,后续默认不能修改,如要修改,需重建索引

2.1  Replica Shard - 提高数据可用性

数据可用性

  • 通过引入副本分片(Replica Shard)提高数据的可用性。一旦主分片丢失,副本分片可以在 Promote 成主分片。副本分片数可以动态调整的。每个节点上都有完备的数据。如果不设置副本分片,一旦出现节点硬件故障,就有可能造成数据丢失。

提高系统的读取性能

  • 副本分片由主分片(Primary Shard)同步。通过支持增加 Replica 个数,一定程度可以提高读取的吞吐量

2.2 分片数的设置

  如何规划一个索引的主分片数和副本分片数

  • 主分片数过小:例如创建一个 1 个 Primary Shard 的 index

         如果该索引增长很快,集群无法通过增加节点实现对这个索引的数据扩展

  • 主分片数设置过大:导致单个 Shard 容量很小,引发一个节点上有过多分片,影响性能
  • 副本分片设置过多,会降低集群整体的写入性能

3 demo 单节点集群

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移_第1张图片

因为副本分片必须和主分片分布在不同的节点上,这样才能保证单台机器故障的时候数据不会真正的丢失。

3.1 增加一个数据节点

  • 集群状态转为绿色
  • 集群具备故障转移能力

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移_第2张图片

3.2 再增加一个节点

  •   Master 节点会决定分片分配到哪个节点
  • 通过增加节点数,提高集群的计算能力

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移_第3张图片 

四 故障转移

  •  3 个节点共同组成。包含 1 个索引,索引设置了 3 个 Primary Shard 和 1 个 Replica
  • 节点 1 是 Master 节点,节点意外出现故障(主分片0也丢失)。集群重新选举 Master 节点(图上是node2)
  • Node3 上的 R0 (之前主分片P0的副本)提升成 P0 ,集群变黄
  • node2把r0 r1分别分配到node2,node3上(这快没理解)R0 R1 分配,集群变绿

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移_第4张图片

4.1集群健康状态

  • Green : 健康状态,所有的主分片和副本分片都可用
  • Yellow: 亚健康,所有的主分片可用,部分副本分片不可用
  • Red:不健康状态,部分主分片不可用

Elasticsearch核心技术与实战学习笔记 38 | 分片与集群的故障转移_第5张图片

 补充下知识点:

分片是Elasticsearch中的最小工作单元,本质上是一个Lucene Index。在Lucene中,单个倒排索引文件被称为Segment,Segment是自包含且不可变更的,多个Segment汇总在一起称为Lucene Index

当有新文档生成时,会生成新的Segment,查询时会同时查询所有Segment,并且对结果汇总,Lucene中有一个文件用来记录所有Segments信息,叫做Commit Point,删除的文档信息,保存在.del文件中。
1:选主的过程中可能存在问题的场景?
选主的过程应该很短,这个期间,如果有创建index或者分片reallocation有可能会出错。
2:故障转移期间可能会出现问题的场景?
故障转移期间,如果只是黄色变绿,应该不影响读写,因为副本会提升为主分片。集群变红,代表有主分片丢失,这个时候会影响读写。
3: 故障转移,数据重新分配,消耗性能的避免方式?
例如一个主分片不可用了。只要设置了副本分片,其中一个副本分片立即会将自己提升为主分片。同时会将自己的数据分配到一个新的replica上,有时候,我们只是重启一台机器,可以让这个reallocation的动作延迟一段时间再做,从而避免无谓的数据拷贝。

你可能感兴趣的:(ES,es,故障转移,分片)