Elasticsearch基础概念

为什么要用Elasticsearch

面对海量数据的搜索，统计，数据分析等，普通的关系型数据库和非关系型数据库都很难满足近实时的、复杂的业务需求。而Elasticsearch的出现就是为了解决这些场景。

Elasticsearch 场景

Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。
Elasticsearch 不仅仅只是全文搜索，我们还将介绍结构化搜索、实时统计、数据分析、复杂的语言处理、地理位置和对象间关联关系等。 我们还将探讨如何给数据建模来充分利用 Elasticsearch 的水平伸缩性，以及在生产环境中如何配置和监视你的集群。
Elasticsearch可用于的一些示例用例

• Elasticsearch（目前）不适合的场景：
  1. 深度分页：由es（Elasticsearch，一下es或Es均代表Elasticsearch）分片(Shards)机制的存在，导致每页的查询都会在各个分片中查询出等量的条数，然后统一排序，取出（pageNum-1）pageSize+1 到 pageNumpageSize记录，返回。
     例如：pageSize=10，分片(Shards)个数为5。
那么查询第一页时，每个分片查询出前10条数据，汇总成50条数据排序，去除前10条数据返回。
那么查询第二页时，每个分片查询出前20条数据，汇总成100条数据排序，去除前11-20条数据返回。
以此类推，深度分页查询对es的查询效率影响很大，导致查询结果延迟很高。
  2. 大批量的数据获取：

NRT(Near Realtime)

Elasticsearch是一个近乎实时的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。

Cluster（集群）

集群是一个或多个节点（服务器）的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索引和搜索功能。群集由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入群集，则该节点只能是群集的一部分。

确保不要在不同的环境中重用相同的群集名称，否则最终会导致节点加入错误的群集。例如，您可以将logging-dev，logging-stage和logging-prod用于开发，登台和生产集群。
请注意，如果群集中只有一个节点，那么它是完全正常的。此外，您还可以拥有多个独立的集群，每个集群都有自己唯一的集群名称。

Node（节点）

节点是作为群集一部分的单个服务器，存储数据并参与群集的索引和搜索功能。就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符（UUID）。如果不需要默认值，可以定义所需的任何节点名称。此名称对于管理目的非常重要，您可以在其中识别网络中哪些服务器与Elasticsearch集群中的哪些节点相对应。 在单个群集中，您可以拥有任意数量的节点。此外，如果您的网络上当前没有其他Elasticsearch节点正在运行，则默认情况下，启动单个节点将形成名为elasticsearch的新单节点集群。

• Master节点
  主要功能是维护元数据，负责集群中的操作，比如创建/删除一个索引，跟踪集群中的节点，分配分片到各节点，处理集群的状态并广播到其他节点，并接收其他节点的确认响应。数据的导入和查询都不会走master节点，所以master节点的压力相对较小。但是master节点是最重要的，如果master节点挂了或者发生脑裂了，你的元数据就会发生混乱，那样你集群里的全部数据可能会发生丢失，所以一定要保证master节点的稳定性
• Data节点
  负责数据的查询和导入
• Client节点
  作为任务分发用，它里面也会存元数据，但是它不会对元数据做任何修改，扮演一个负载均衡的角色，将到来的请求路由到集群中的各个Data节点。可以分担Data node的一部分压力(二次聚合)

Index（索引）

索引是具有某些类似特征的文档集合。例如，您可以拥有客户数据的索引，产品目录的另一个索引以及订单数据的另一个索引。索引由名称标识（必须全部小写），此名称用于在对其中的文档执行索引，搜索，更新和删除操作时引用索引。
在单个群集中，您可以根据需要定义任意数量的索引。

Type（类型）

在索引中，您可以定义一个或多个类型。类型是索引的逻辑类别/分区，其语义完全取决于您。通常，为具有一组公共字段的文档定义类型。例如，假设您运行博客平台并将所有数据存储在单个索引中。在此索引中，您可以为用户数据定义类型，为博客数据定义另一种类型，为评论数据定义另一种类型。
如果说index类似于关系型数据库中的数据库，type就类似于数据库中的表。
由于type在es中应用场景比较少，这个Type在6.0.0中已经舍弃，将在7.0中完全移除。具体原因参看删除映射类型

Shards（分片）

索引可能存储大量可能超过单个节点的硬件限制的数据。例如，占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘，或者可能太慢而无法单独从单个节点提供搜索请求。
为了解决这个问题，Elasticsearch提供了将索引细分为多个称为分片的功能。创建索引时，只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群中的任何节点上。

• 分片的优点：
  1. 它允许您水平拆分/缩放内容量
  2. 它允许您跨分片（可能在多个节点上）分布和并行化操作，从而提高性能/吞吐量
  3. 分片的分布方式以及如何将其文档聚合回搜索请求的机制完全由Elasticsearch管理，对用户而言是透明的。

Replicas（副本）

在可以随时发生故障的网络/云环境中，非常有用，强烈建议使用故障转移机制，以防分片/节点以某种方式脱机或因任何原因消失。为此，Elasticsearch允许您将索引的分片的一个或多个副本制作成所谓的副本分片或简称副本。

• 副本的优点：
  1. 它在碎片/节点发生故障时提供高可用性。因此，请务必注意，副本分片永远不会在与从中复制的原始/主分片相同的节点上分配。
  2. 它允许您扩展搜索量/吞吐量，因为可以在所有副本上并行执行搜索。

总而言之，每个索引可以拆分为多个分片。索引也可以复制为零（表示没有副本）或更多次。复制后，每个索引都将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）。可以在创建索引时为每个索引定义分
片和副本的数量。创建索引后，您可以随时动态更改副本数，但不能在事后更改分片数。

客户端

1. Java REST Client
2. Java API
3. JavaScript API
4. Groovy API [2.4] — other versions
5. .NET API [6.x] — other versions
6. PHP API [6.0] — other versions
7. Perl API
8. Python API
9. Ruby API
10. Community Contributed Clients

---

客户端参考：Elasticsearch Client
文档参考：Elasticsearch[6.4]官方文档
文档参考：ApacheCN-Elasticsearch[5.4]翻译文档