ElasticSearch - 基本概念

文档(document)

• ElasticSearch是面向文档的，文档是所有可搜索数据的最小单位。
  类似关系型数据库中的某张表的一条记录
• 文档会被序列化成json来保存。
• 每个文档都有一个Unique ID

文档的元数据

用来标注文档的相关信息:

• _index: 文档所属的索引名
• _type: 文档所属的类型名
• _id: 文档的唯一id
• _source: 文档的原始json数据
• _version: 文档的版本信息
• _score: 相关性打分

索引(Index)

索引是文档的容器，是一类文档的结合
类似关系型数据库中的表

• Index体现了逻辑空间的概念: 每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
• Shard体现了物理空间的概念:索引中的数据分散在Shard上
  Mapping用于定义文档字段类型，Setting用来定义不同的数据分布

对比关系型数据库和ES

image.png

区别:

• ES用来做高性能检索/全文搜索
• 关系型数据库事务/Join

分布式系统的可用性和扩展性

• 高可用性
  • 服务可用性 - 允许有节点停止服务
  • 数据可用性 - 部分节点丢失，不会丢失数据
• 可扩展性
  • 请求量提升/数据的不断增长(将数据分布到所有节点上)
• ES的分布式架构的好处
  • 存储的水平扩容
  • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
• ES的分布式架构
  • 不同的集群通过不同的名字来区分，默认名字"elasticsearch"
  • 通过配置文件修改，或者命令行中 -E cluster.name = xxxx 进行设定
  • 一个集群可以有一个或者多个节点

节点

• 节点是一个ES的实例
  1. 本质上就是一个java进程
  2. 一台机器上可以运行多个es进程，但是生产环境一般建议一台机器上只运行一个es实例
• 每一个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1 指定
• 每一个节点在启动之后，会分配一个UID,保存在data目录下面

Master-eligible nodes 和 Master Node

• 每个节点启动后，默认就是一个Master eligible节点

  可以设置node.master:false禁止  
  

• Master-eligible节点可以参加选主流程，成为Master节点

• 当第一个节点启动时候，它会将自己选举成Master节点

• 每个节点都保存了集群的状态，只有Master节点才能修改集群的状态信息

  集群状态维护了一个集群中必要的信息:  
  1. 所有的节点信息
  2. 所有的索引和其相关的Mapping和Setting信息  
  3. 分片的路由信息  
  任意节点都能修改信息会导致数据的不一致性。 
  

Data Node & Coordinating Node

• Data Node

  可以保存数据的节点。 负责保存分片数据。在数据扩展上起到了至关重要的作用。
  

• Coordinating Node

  负责接受client的请求，将请求分发到合适的节点，最终把结果汇集到一起。
  每个节点默认都起到了Coordinating Node的职责  
  

其他的节点类型

• Hot & Warm Node

  不同硬件配置的Data Node,用来实现Hot & Warm架构，降低集群部署的成本  
  

• Machine Learning Node

  负责跑机器学习的job，用来做异常检测
  

分片

• 主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点上

  一个分片是一个运行的Lucene的实例  
  主分片数在索引创建时指定，后续不允许修改，除非Reindex  
  

• 副本，用以解决数据的高可用的问题。分片是主分片的拷贝

  副本分片数，可以动态题调整  
  增加副本数，还可以在一定成都上提高服务的可用性(读取的吞吐)
  

image.png

number_of_shards：3 代表主分片数为3
number_of_replicas: 1 代表副本数为 1

分片的设定

• 对于生产环境中分片的设定，需要提前做好容量规划
  1. 分片数设置过小
     • 导致后续无法增加节点实现水平扩展
     • 单个分片的数据量过大，导致数据重新分配耗时
  2. 分片数设置过大
     • 影响搜索结果的相关性打分，影响统计结果的准确性
     • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能