Elasticsearch入门 1—基本概念

1 基本概念

索引&文档：偏向于开发人员视角，是逻辑上的概念
节点&分片：偏向于运维人员视角，是物理上的概念

1.1 文档 Document

Elasticsearch是面向文档的，文档是所有可搜索数据的最小单位
文档会被序列化成JSON格式，保存在Elasticsearch中
每个文档都有一个Unique ID，可以自己指定ID，或者通过Elasticsearch自动生成
一篇文档包含了一系列的字段，类似数据库表中一条记录

1.1.1 文档的元数据

元数据，用于标注文档的相关信息

_index：文档所属的索引名
_type：文档所属的类型名
_id：文档唯一ID
_source：文档的原始JSON数据
_all：整合所有字段内容到该字段，已被废除
_version：文档的版本信息
_score：相关性打分

1.2 索引 Index

索引是文档的容器，是一类文档的结合

Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
Shard体现了物理空间的概念：索引中的数据分散在Shard上

索引的Mapping与Settings

Mapping定义文档字段的类型
Setting定义不同的数据分布

传统关系型数据库和Elasticsearch的区别

Elasticsearch — Schemaless / 相关性 / 高性能全文检索
RDMS — 事务性 / Join

1.3 REST API

很容易被各种语言调用

1.3.1 一些基本的API

Indices

创建Index
- PUT Movies
查看所有index
- _cat/indices

1.4 分布式系统

1.4.1 分布式系统的可用性与扩展性

高可用性

服务可用性 — 允许有节点停止服务
数据可用性 — 部分节点丢失，不会丢失数据

可扩展性

请求量提升 / 数据的不断增长（将数据分布到所有节点上）

1.4.2 分布式特性

Elastiacsearch的分布式架构的好处

存储的水平扩容
提高系统的可用性，部分节点停止服务，整个集群的服务不受影响

Elasticsearch的分布式架构

不同的集群通过不同的名字来区分，默认名字“Elasticsearch”
通过配置文件修改，或者在命令行中 -E cluster.name=geektime 进行设定
一个集群可以有一个或者多个节点

1.5 节点

节点是一个Elasticsearch的实例

本质上就是一个Java进程
一台机器上可以运行多个Elasticsearch进程，但是生产环境一般建议一台机器上只运行一个Elasticsearch实例

每一个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=node1 指定
每一个节点在启动之后，会分配一个UID，保存在data目录下

1.5.1 Master-eligible nodes和Master Node

每个节点启动后，默认就是一个Master eligible节点

可以设置node.master: false禁止

Master-eligible节点可以参加选主流程，成为Master节点
当第一个节点启动的时候，它会将自己选举成Master节点
每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息

集群状态（Cluster State），维护了一个集群中，必要的信息
- 所有的节点信息
- 所有的索引和其相关的Mapping与Setting信息
- 分片的路由信息
任意节点都能修改信息会导致数据的不一致性

1.5.2 Data Node & Coordinating Node

Data Node

可以保存数据的节点，叫做Data Node。负责保存分片数据。在数据扩展上起到了至关重要的作用

Coordinating Node

负责接收Client的请求，将请求分发到合适的节点，最终把结果汇集到一起
每个节点默认都起到了Coordinating Node的职责

1.5.3 其他的节点类型

Hot & Warm Node

不同硬件配置的Data Node，用来实现Hot & Warm架构，降低集群部署的成本

Machine Learning Node

负责跑机器学习的Job，用来做一场检测

Tribe Node

（5.3开始使用Cross Cluster Search）Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

1.5.4 配置节点类型

开发环境中一个节点可以承担多种角色
生产环境中，应该设置单一的角色的节点（dedicated node）

1.6 分片（Primary Shard & Replica Shard）

主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上

一个分片是一个运行的Lucene的实例
主分片数在索引创建时指定，后续不允许修改，除非Reindex

副本，用以解决数据高可用的问题。分片是主分片的拷贝

副本分片数，可以动态地调整
增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

1.6.1 分片的设定

对于生产环境中分片的设定，需要提前做好容量规划

分片数设置过小
- 导致后续无法增加节点实现水平扩展
- 单个分片的数据量太大，导致数据重新分配耗时
分片数设置过大，7.0开始，默认主分片设置成1，解决了over-sharding的问题
- 影响搜索结果的相关性打分，影响统计结果的准确性
- 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

1.6.2 查看集群的健康状况

GET _cluster/health
{
  "cluster_name" : "xxx",
  "status" : "green"
}

Green：主分片与副本都正常分配
Yellow：主分片全部正常分配，有副本分片未能正常分配
Red：有主分片未能分配

例如，当服务器的磁盘容量超过85%时，去创建了一个新的索引