Elasticsearch相关概念
文档
1. elasticsearch是面向文档的,文档是所有可搜索数据的最小单位,例如:
1. 日志文件中的日志项
2. 一本电影的具体信息 / 一张唱片的详细信息
3. MP3播放器里的一首歌 / 一篇PDF文档中的具体内容
2. 文档会被序列化为Json格式,保持在elasticsearch中
1. Json对象有字段注册
2. 每个字段都有对应的字段类型(字符串,数值,布尔,日期,二进制,范围类型)
3. 每个文档都有一个 uniqueID
1. 你可以自己指定ID
2. 或者通过Elasticsearch自动生成
文档的元数据
1. 元数据可以认为是每个json数据自带的原始的字段,用于标注文档的相关信息,主要有以下几个元数据:
1. _indx 文档所属的索引名
2. _type 文档所属的类型名
3. _id 文档的唯一ID
4. _source 文档的原始JSON数据
5. _version 文档的版本信息
6. _score 相关性打分
索引 Index
1. 索引是文档的容器,是一类文档结合
Index体现了逻辑空间的概念:每个索引都有自己的Mapping定义,用于定义包含的文档的字段名和字段类型
每个索引的数据分布在Shard上,Shard体现了物理空间的概念
2. 索引的Mapping和Settings
Mapping定义文档字段的类型
settings定义不同的数据分布
索引的不同语义
1. 名词:一个Elasticsearch集群中,可以创建很多不同的索引
2. 动词:保存一个文档到elasticsearch的过程也叫索引(indexing),即es创建一个倒排索引的过程
3. 名词:一个B树索引,一个倒排索引
Type
Type是一类索引的组合
1. 在7.0之前,一个Index可以设置很多Types
2. 6.0开始,Type已经被Deprecated。7.0开始,一个索引只能创建一个type,即“_doc”
与传统关系型数据库RDMS的对比
1. ES的特点是弱结构化,相关性,高性能全文检索
2. RDMS 事务性和数据聚合Join
RDMS |
ES |
Table |
Index(Type) |
Row |
Document |
Column |
Field |
Schema |
Mapping |
SQL |
DSL |
REST API
ES提供rest api的接口,以便于各种语言调用
分布式集群
分布式集群是目前的主流做法,原因也是显而易见的,分布式系统具有单机系统无法比拟的高可用性和可扩展性
1. 高可用性:
1. 服务可用性:允许有节点停止服务
2. 数据可用性:部分节点丢失,不会丢失数据
2. 可扩展性:
1. 可以水平扩展
节点
1. 节点是一个ES实例
1. 本质上就是一个JAVA进程
2. 一台机器上可以运行多个ES进程,但是生产环境一般建议一台机器只运行一个ES实例
2. 每个节点都有名字,通过配置文件配置,或者启动的时候,加上 -E node.name=node1 指定
3. 每个节点在启动后,会分配一个UID,保持在data目录下
Master-eligible nodes 和Master Node
1. 每个节点启动后,默认就是一个Master eligible节点
1. 可以设置node.master:false禁止
2. Master-eligible节点可以参加选主流程,成为Master节点
3. 当第一个节点启动的时候,它会将自己选举为Master节点
4. 每个节点上都保存了集群的状态,只有Master节点才能修改集群的状态信息
1. 集群状态(Cluster State) ,维护了一个集群中,必须的信息
1. 所有的节点信息
2. 所有的索引和棋相关的Mapping和Settings信息
3. 分片的路有信息
Data Node
可以保存数据的节点,叫做Data Node,负责保存分片数据,在数据扩展上起到了至关重要的作用
Coordinating Node
1. 负责接收Client的请求,将请求分发到合适的节点,最终把结果汇集到一起
2. 每个节点默认都起了Coordinationg Node的职责
Hot & Warm Node
不同硬件配置的Data Node,用来实现Hot & Warm 架构,降低集群部署的成本
Machine Learning Node
顾名思义,负责跑机器学习的Job,用来做异常检测
Tribe Node
(5.3开始用Cross Cluster Serach) Tribe Node 连接到不同的ES集群,并且支持将这些集群当做一个单独的集群处理
配置节点类型
1. 开发环境中一个节点可以承担多种角色
2. 生产环境中,应该设置单一的角色的节点
节点类型 |
配置参数 |
默认值 |
master eligible |
node.master |
true |
data |
node.data |
true |
ingest |
node.ingest |
true |
coordinating only |
无 |
每个节点默认都是coordinating,设置其它类型全部为false |
machine_learing |
node.ml |
ture(需要 enable x-pack) |
分片
1. 主分片:用以解决数据水平扩展的问题,通过主分片,可以将数据分布到集群内的所有节点之上
1. 一个分片是一个运行的Lucene的实例
2. 主分片数在索引创建时指定,后续不允许修改,除非Reindex
2. 副本,用以解决数据高可用的问题,分片是主分片的拷贝
1. 副本分片数,可以动态调整
2. 增加副本数,还可以在一定程度上提高服务的可用性(读取的吞吐)
3. 对于生产环境中分片的设定,需要提前做好容量规划
1. 分片数设置过小
1. 导致后续无法增加节点,实现水平扩展
2. 单个分片的数据量太大,导致数据重新分配耗时
2. 分片数设置过大
1. 影响搜索结果的相关性打分,影响统计结果的准确性
2. 单个节点上过多的分片,会导致资源浪费,同时也会影响性能
查看集群的健康情况
1. Green: 主分片与副本都正常分配
2. Yellow:主分片全部正常分配,有副本分配未能正常分配
3. Red:有主分片未能分配
1. 例如,当服务器的磁盘容量超过85%时,去创建一个新的索引
更多内容欢迎关注我的个人公众号“韩哥有话说”,100G人工智能学习资料,大量后端学习资料等你来拿。