运维篇 -- ElasticSearch 7.X 基础知识理论知识,开发绕路

ElasticSearch

定义概述:

  1. ​ Elaticsearch ,简称es,es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。
  2. ​ Es也使用 java开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能,但是他的目的是通过简单的 RESTful API来隐藏 Lucene 的复杂性,让全文搜索变得简单。

​ ES的底层搜索是 Lucene的倒排索引。


谁在使用:

1、维基百科,类似百度百科,全文检索,高亮,搜索推荐

2、The Guardian(国外新闻网站):类似搜狐新闻,用户行为日志(点击,浏览,收藏,评论)社交关注看法

3、Stack Overflow(国外的程序异常讨论论坛),IT问题,程序报错,提交上去,全文检索,搜索相关问题的答案。

4、Github,搜索上千亿行代码

5、电商网站,检索商品

6、日志数据分析,logstash采集日志,ES进行复杂的数据分析,ELK技术(ES+Logstash+Kibana)

7、商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户。比如订阅牙膏的价钱一旦低于50块钱,就通知。

8、BI系统,商业智能。比如:有个大型商场集团,BI分析某区域近3年的用户消费金额趋势,以及用户群体的组成构成,产出相关的数据表。ES执行数据分析和挖掘,Kibana进行数据可视化。

9、站内搜索(电商、招聘、门户),IT系统搜索(OA,CRM,ERP),数据分析


端口号:

9300-9305端口: ES节点之间通讯使用,tcp通讯连接的端口
9200端口: ES节点 和 外部 通讯使用

ES 作用:

elasticearch 是一个 基于内存的,分布式可扩展的实时搜索和分析引擎(开发常用)。
其他作用:
1、分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索
2、实时分析的分布式搜索引擎
3、可以扩展到上百台服务器,处理BP级别的结构化或非结构化数据
4、提供了 REST API 接口

存储单位

换算单位
1024B 1KB
1024KB 1MB
1024MB 1GB
1024GB 1TB
1024TB 1PB
1024PB 1EB
1024EB 1YB

YB > ZB > EB > PB > TB > GB > MB > KB > B


二、ES 文档型数据库的基本概念

elasticsearch 是面向文档型的数据库,一条数据在这里就是一个文档。
SQL / NO SQL ElasitcSearch
数据库(database) 索引(indices)
表(tables) 类型(type)
行(rows) 文档 (documents)
字段(columns) 字段(fields)

创建一个索引库,在索引库(库)中创建文档(行)来存储数据,这个文档(行)里有不同的字段,比如名字,性别,年龄(字段,列)。

类型 type 在8.0版本后将被弃用


重要概念:倒排索引

​ elasticsearch 使用的是一种被称为 倒排索引的结果,采用 Lucene 倒排索引作为底层。这种结果适用于快速的全文索引,一个索引文档中所有不重复的列表构成。对于每一个此,都有一个包含他的文档列表。

例如现在有两个文档,每个文档包含如下内容:

Study every day,good good up to forever			#文档1
To forever,study every day,good good up		#文档2

为了创建倒排索引,首先要将每个文档拆分成独立的词(词条/tokens),然后创建一个包含所有不重复的词条的排序列表,然后列出每个词条出现在那个文档。

term doc_1 doc_2
Study ×
To × ×
every
forever
day
study ×
good
every
to ×

现在,试图搜索 to forever,只需要查看包含词条的文档

term doc_1 doc_2
to ×
forever
score(权重) 2 1

两个文档都匹配,但是第一个文档比第二个匹配程度更高。如果没有别的条件,现在这两个包含关键字的文档都将返回。
运维篇 -- ElasticSearch 7.X 基础知识理论知识,开发绕路_第1张图片


1、索引 (index)

索引是具有相似特性的文档集合。

例如:为客户数据提供索引
为产品目录建立一个索引
为订单数据建立一个索引
索引由小写的名称标识,该名称用于在对中的文档执行索引、搜索、更新和删除操作时引用索引。在单个群集中,您可以定义尽可能多的索引。

2、文档(document) 7.0以后淘汰

文档是索引的基本信息单元。文档用JSON表示。
例如:
	{
     
	  "_index" : "packtpub",	索引名
	  "_type" : "elk",		类型淘汰   
	  "_id" : "1",			文档ID  
	  "_version" : 1,		文档版本号
	  "found" : true,		
	  "_source":{
     			字段
		book_name : "learning elk",	字段1:book_name
		book_author:"鲁迅"		字段2:鲁迅
	  }
	}

3、字段(Field)

{
     
 "name": "孙海铭"
 "age": 21
 "sex": "男"
 "bridge": "19990131"
}

5、映射 ( Mapping )

{
     
  "mappings": {
      
    "properties": {
     
       "name": {
     		#字段	
          "type": "text"	#字段类型
       },
       "age": {
     
          "type": "long"
       }
    } 
  }
}

6、分片(Shard)

ES 集群的概念,将一个索引数据,分片到各个节点存储

7、分词 ik

中文分词,咋分词,比如你叫张三。把张三设置成一个词,按照这个词来索引。就叫分词。

8、主分片(Primary shard)

主分片在每个节点上都有,每个主分片都具备一个副分片

9、复制分片(replica shard)

复制分片通常驻留在一个不同的节点上,在故障转移和负载平衡的情况下,可以满足多个请求。

10、ES集群

节点 功能
Master主节点 集群主节点干啥的还用解释码,引导集群,接收数据请求,然后将数据向从节点分片存储。
Data节点(2个) 数据节点,也是从节点,主要用来存储数据。
Head-web ElasticSearch的webUI页面,必须要有的插件,一般在 Master节点部署
ik分词器 一个中文分词器,ES默认不支持中文分词,一般在 Master节点部署
kibana 提供强大的 开发工具,展示工具,所有数据的展示页面,搜索数据关键字

集群是一个或多个节点(服务器)的集合,它们共同保存你的整个数据,并提供跨所有节点的联合索引和搜索功能。一个集群由一个唯一的名称标识,默认这个唯一标识的名是"elasticsearch"。这个名称很重要,因为如果节点被设置为按其名称加入集群,那么节点只能是集群的一部分。

确保不要在不同的环境中用相同的集群名称,否则可能导致节点加入到错误的集群中。例如,你可以使用"logging-dev", “logging-test”, "logging-prod"分别用于开发、测试和正式集群的名字。

11、集群节点(Node)

节点是一个单独的服务器,它是集群的一部分,存储数据,并参与集群的索引和搜索功能。就像集群一样,节点由一个名称来标识,默认情况下,该名称是在启动时分配给节点的随机通用唯一标识符(UUID)。如果不想用默认的节点名,可以定义任何想要的节点名。这个名称对于管理来说很重要,因为你希望识别网络中的哪些服务器对应于你的Elasticsearch集群中的哪些节点。

一个节点可以通过配置集群名称来加入到一个特定的集群中。默认情况下,每个节点都被设置加入到一个名字叫"elasticsearch"的集群中,这就意味着如果你启动了很多个节点,并且假设它们彼此可以互相发现,那么它们将自动形成并加入到一个名为"elasticsearch"的集群中。

一个集群可以有任意数量的节点。此外,如果在你的网络上当前没有运行任何节点,那么此时启动一个节点将默认形成一个单节点的名字叫"elasticsearch"的集群。


三、ElastcSearch如何工作的?

ES写数据过程

1、客户端选择一个 node 发送请求过去,这个 node 就是 coordinating node(协调节点)。

2、coordinating node 对 document 进行路由,将请求转发给对应的 node(有 primary shard 主分片)。

3、实际的 node 上的 primary shard 处理请求,然后将数据同步到 replica node,同步到其复制分片上。

4、coordinating node 如果发现 primary node 和所有 replica node 都搞定之后,就返回响应结果给客户端。

ES读数据过程

1、客户端发送请求到任意一个 node,成为 coordinate node。

2、coordinate node 对 doc id 进行哈希路由,将请求转发到对应的 node,此时会使用 round-robin随机轮询算法,在 primary shard 以及其所有 replica 中随机选择一个,让读请求负载均衡。

3、接收请求的 node 返回 document 给 coordinate node。

4、coordinate node 返回 document 给客户端。

ES搜索数据过程

ES最强大的是做全文检索,比如有三条数据:

1.北京哪里好玩
2.北京是中国的首都
3.北边有一个京都

根据 北京 关键词来搜索,将包含北京的document给搜索出来。
ES就会给你返回:北京哪里好玩,北京是中国的首都。

1、客户端发送请求到一个coordinate node。

2、协调节点将搜索请求转发到所有的shard 对应的 primary shard 或 replica shard,都可以。

3、query phase:每个 shard 将自己的搜索结果(其实就是一些 doc id)返回给协调节点,由协调节点进行数据的合并、排序、分页等操作,产出最终结果。

4、fetch phase:接着由协调节点根据 doc id 去各个节点上拉取实际的 document 数据,最终返回给客户端。


Master选举:

运维篇 -- ElasticSearch 7.X 基础知识理论知识,开发绕路_第2张图片

你可能感兴趣的:(ELK,Elastic,Stack)