Elasticsearch 基础概念

搭建ELK 集群,和准备环境 搭建我的ELK 7.2

文档（Document）

• Elasticsearch 是面向文档的，文档是所有可搜索数据的最小单位。

  • 日志文件中的日志项
  • 一部电影的具体信息/一张唱片的详细信息
  • MP3 播放器里的一首歌/一篇PDF文档中的具体信息

• 文档会被序列化JSON格式，保存在Elasticsearch中

  • JSON对象由字段组成
  • 每个字段都有对应的字段类型 (字符串/数值/布尔/日期/二进制/范围类型)

• 每个文档都有一个Unique ID

  • 你可以自己指定ID
  • 或者通过Elasticsearch自动生成

文档的元数据

索引（Index）

• Index - 索引是文档的容器，是一类文档的结合
  • index 体现了逻辑空间的概念： 每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
  • Shard 体现了物理空间的概念：索引中的数据分散在Shard上
• 索引的Mapping 与 Settings
  • Mapping 定义文档字段的类型

  • Setting 定义不同的数据分布

    
    
    

    索引

与关系性数据库的类比

RDBMS(MySQL)	Elasticsearch
Table	Index(Type)
Row	Doucment
Column	Field
Schema	Mapping
SQL	DSL

查看我的索引。
在搭建我的ELK集群时，我已经导入了一份电影数据到es中，在kibana打开后，可以在这里找到。

索引管理

文档，索引是对开发或者使用人员来说的。接下来的概念都是对于运维相关人员的

为了高可用性，需要分布式系统的可用和扩展性。随着请求量的提升。数据也不断的提升。

节点

• 节点是一个Elasticsearch的实例
  • 本质上就是一个JAVA进程
  • 一台机器可以运行多个Elasticsearch进程，但是生产环境一般建议还是一台机器运行一个Elasticsearch实例。
• 每个节点都有名字，通过配置文件配置，或者启动的时候 -E node.name=node1 指定
• 每个节点在启动之后，会分配一个UID，保存在data目录下。

Master-eligible 节点 和 Master 节点

• 每个节点启动后，默认就是一个Master eligible 节点。
• Master-eligible节点可以参加选主流程，成为Master节点
• 当第一个节点启动的时候，它会将自己选举成Master节点
• 每个节点上都保存了集群的状态，但是只有Master节点才能修改集群的状态信息
  • 集群状态（Cluster State），维护了一个集群中，必要的信息。
    • 所有的节点信息
    • 所有的索引和其相关的Mapping 与 Setting 信息
    • 分篇的路由信息

Data 节点 和 Coordinating 节点

• Data 节点
  • 可以保存数据的节点，叫做Data Node。负责保存分片数据，在数据扩展上起到了至关重要的作用。
• Coordinating 节点
  • 负责接受Client的请求，将请求分发到合适的节点，最终把结果汇聚到一起。
  • 每个节点默认都起到了Coordinating Node 的职责。

其他节点

• Hot & Warm 节点
  • 不同硬件配置的Data Node，用来实现Hot & Warm 结构，降低集群部署的成本。
• Machine Learning Node
  • 负责跑机器学习的Job

配置节点的类型

• 开发环境中可以一个节点承担多个角色。
• 生产环境中，应该设置单一的角色的节点（dedicated node）
  在 配置文件 .yaml 中指定

节点类型	配置参数	默认值
master eligible	node.master	true
data	node.data	true
ingest	node.ingest	true
coordinating only	无	默认节点都为 coordinating 节点
machine learning	node.ml	true （需要enbale x-pack）

# curl -s http://localhost:9200/_cat/nodes
127.0.0.1 19 97 7 0.23 0.09 0.06 mdi * node0
127.0.0.1 15 97 7 0.23 0.09 0.06 mdi - node2
127.0.0.1 20 97 7 0.23 0.09 0.06 mdi - node1

分片（Primary Shard & Replica Shard）

• 主分片，用以解决数据水平扩展的问题，通过主分片，可以将数据分布到集群的所有节点之上。
  • 一个分片是一个运行的Lucene的实例
  • 主分片在索引创建时指定，后续不允许修改，除非Reindex
• 副本，用以解决数据高可用的问题，分片是主分片的拷贝。
  • 副本分片数，可以动态调整
  • 增加副本数，还可以在一定程度上提高服务可用性（读取的吞吐）

# curl -s http://localhost:9200/_cat/shards
.kibana_task_manager         0 p STARTED     2   46.6kb 127.0.0.1 node2
.kibana_task_manager         0 r STARTED     2   46.6kb 127.0.0.1 node0
kibana_sample_data_flights   0 p STARTED 13059    6.6mb 127.0.0.1 node2
kibana_sample_data_flights   0 r STARTED 13059    6.6mb 127.0.0.1 node0
movies                       0 p STARTED 27279    3.7mb 127.0.0.1 node0
movies                       0 r STARTED 27279    3.7mb 127.0.0.1 node1
kibana_sample_data_ecommerce 0 p STARTED  4675      5mb 127.0.0.1 node0
kibana_sample_data_ecommerce 0 r STARTED  4675    5.2mb 127.0.0.1 node1
.kibana_1                    0 r STARTED   167      1mb 127.0.0.1 node2
.kibana_1                    0 p STARTED   167 1019.9kb 127.0.0.1 node1
kibana_sample_data_logs      0 r STARTED 14074   11.6mb 127.0.0.1 node2
kibana_sample_data_logs      0 p STARTED 14074   11.6mb 127.0.0.1 node1

集群

查看集群的状态。

# curl -s http://localhost:9200/_cluster/health|jq
{
  "cluster_name": "myes",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 3,
  "number_of_data_nodes": 3,
  "active_primary_shards": 6,
  "active_shards": 12,
  "relocating_shards": 0,
  "initializing_shards": 0,
  "unassigned_shards": 0,
  "delayed_unassigned_shards": 0,
  "number_of_pending_tasks": 0,
  "number_of_in_flight_fetch": 0,
  "task_max_waiting_in_queue_millis": 0,
  "active_shards_percent_as_number": 100
}

• Green - 主分片与副本都正常分配
• Yellow - 主分片全部正常分配，有副本分片未能正常分配
• Red - 有主分片未能正常分配。（如磁盘剩余容量不足15%，创建一个新的索引时）