Elasticsearch多主、多数据、多协调、多冷节点说明及配置(一)

最近因为客户项目需要,所以专门调研了Elasticsearch的这些不常用的重要功能,并整理成文档,现在分享出来,希望对有这方面需求的同行有些帮助

由于内容较多,一共分为三部分分享

  1. Elasticsearch多主、多数据、多协调、多冷节点节点说明及配置
  2. Elasticsearch灾备同步方案设计
  3. Elasticsearch灾备同步方案设计验证

Elasticsearch多主、多数据、多协调、多冷节点说明及配置(一)_第1张图片

1. 多主

  • ElasticSearch默认是任何节点都可以成为主节点,也可以手动设置节点成为主节点候选节点,负责管理集群范围内的所有变更,例如增加、删除索引或者增加、删除节点等。
  • 主节点数据需要为奇数,这样主节点出现问题时能选举新的主节点继续提供服务,保证主节点的高可用性
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: master_1
node.master: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • 如果node.master、node.data 同时设置为true,则该节点既能参与选举主节点,也能为数据节点,如果node.master设置为true、node.data为false,则该节点只能参与选举主节点

2. 多数据

  • ElasticSearch数据节点主要是存储索引数据的节点,主要对文档进行增删改查操作,聚合操作。数据节点对cpu,内存,io要求较高, 在优化的时候需要监控数据节点的状态,当资源不够的时候,需要在集群中添加新的数据节点。
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: data_1
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]

3. 多协调

  • ElasticSearch默认每个node都是一个协调节点,但也允许手动设置协调节点,协调节作用就把客户端的请求转分配给最合适的节点来处理,简单来讲就是负载均衡的作用。集群中每个节点的负载情况和健康状况都不一样,有些节点可能已经超负荷了,有一部分甚至已经不健康了,这些不健康的节点就不该再接收请求,否则会导致失败的响应,协调节点知道集群中各个节点的状态。
  • 协调节点主要提到负载均衡的作用
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: condition_1
node.data: false
node.master: false
node.ingest: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • 协调节点没有节点数量限制,但建议为奇数,也可以根据实际情况进行调整

4. 多冷节点

  • 冷节点用于不经常访问的read-only索引。作用跟数据库的只读库类似。 当索引不再被频繁查询时,可通过设置冷热数据将不经常使用的数据转移到冷节点,一旦设置这个属性,ElasticSearch会将索引合并到冷节点。同时,同时也可以在配置文件中设置 index.codec: best_compression 保证冷节点的数据压缩,减少空间
  • 冷节点建议跟跟热节点数据节点数对等
  • 涉及到的elasticsearch.yml配置文件的主要配置项
cluster.name: "BoCloud_cluster"
node.name: warm_1
node.data: true
http.port: 9200
node.attr.box_type:warm
transport.tcp.port: 9300
discovery.seed_hosts: ["dc_es1","dc_es2","dc_es3"]
cluster.initial_master_nodes: ["dc_es1","dc_es2","dc_es3"]
  • 数据节点类型可以通过node.attr.box_type设置warm、hot值来标志冷热数据节点,同时在创建index的时候需要指定索引数据保存到数据节点的类型,通过index索引配置文件的index.routing.allocation.require.box_type设置数据存储的节点
{ 
 "settings": { 
   "index.routing.allocation.require.box_type": "hot",
   "index.number_of_replicas": "0"
 } 
}
  • 在索引数据不再经常索引的时,可以属性值为warm使数据转存到冷节点

 喜欢的朋友记得给个关注~

你可能感兴趣的:(资深架构师技术分享,云原生,低代码开发,elasticsearch,大数据,搜索引擎)