01_Elasticsearch 快速入门实战

主要内容

  1. ElasticSearch概述
  2. ElasticSearch应用场景详解
  3. ElasticSearch环境搭建
  4. ElasticSearch常用分词技术介绍与使用
  5. ElasticSearch底层原理剖析
  6. ElasticSearch数据管理详解

1、ElasticSearch简介

1.1、ElasticSearch(简称ES)

Elasticsearch 是用Java开发并且是当前最流行的开源的企业级搜索引擎

能够达到实时搜索,稳定,可靠,快速,安装使用方便。

客户端支持Java、.NET(C#)、PHP、Python、Ruby等多种语言。

官方网站:https://www.elastic.co
下载地址:https://www.elastic.co/cn/start

创始人:Shay Banon(谢巴农)

01_Elasticsearch 快速入门实战_第1张图片

应用场景

  • 百度、谷歌、Bing的搜索引擎

  • 京东的商品搜索

    并且会将搜索关键词高亮

1.2、ElasticSearch与Lucene的关系

Lucene 被认为 迄今为止最先进、性能最好的、功能最全的搜索引擎库(框架,就像Mybatis、Hibernate一样)
但是想要使用Lucene,必须使用Java来作为开发语言并将其直接集成到你的应用中,并且Lucene的配置及使用非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

Lucene缺点:

  • 1、只能在Java项目中使用,并且要以jar包的方式直接集成到项目中
  • 2、使用非常复杂 - 创建索引和搜索索引代码繁杂
  • 3、不支持集群环境 - 索引数据不同步(不支持大型项目)
  • 4、索引数据如果太多就不行,索引库和应用需在同一个服务器,共同占用硬盘
  • 上述Lucene的缺点,ES全部都能解决,小型的网站还是可以用Lucene

1.3 、哪些公司在使用ElasticSearch

1.京东
2.携程
3.去哪儿
4.58同城
5.滴滴
6.今日头条
7.小米
8.哔哩哔哩
9.联想
10.Github
11.微软
12.Facebook
等等...

1.4、ES vs Solr比较

Solr知名度不如ES,现在的互联网公司已经很少会问Solr

当单纯的对已有数据进行搜索时,Solr更快。

01_Elasticsearch 快速入门实战_第2张图片

当实时建立索引时,Solr会产生io 阻塞,查询性能较差,Elasticsearch具有明显的优势。
01_Elasticsearch 快速入门实战_第3张图片
大型互联网公司,实际生产环境测试,将搜索引擎从Solr转到 Elasticsearch 以后的平均查询速度有了50倍的提升。
01_Elasticsearch 快速入门实战_第4张图片

总结:

二者安装都很简单。

1、Solr 利用 Zookeeper 进行分布式管理,而ElasticSearch 自身带有分布式协调管理功能

2、Solr 支持更多格式的数据,比如JSON、XML、CSV,而 Elasticsearch 仅支持json文件格式

3、Solr 在传统的搜索应用中表现好于 Elasticsearch,但在处理实时搜索应用时效率明显低于 Elasticsearch。

4、Solr 是传统搜索应用的有力解决方案,但 Elasticsearch 更适用于新兴的实时搜索应用。

1.4.2、 ES vs 关系型数据库

ES 的客户端Kibana

01_Elasticsearch 快速入门实战_第5张图片

2、Lucene全文检索框架

2.1、什么是全文检索

全文检索是指:

  • 通过一个程序扫描文本中的每一个单词,针对单词建立索引,并保存该单词在文本中的位置、以及出现的次数
  • 用户查询是,通过之前建立好的索引来查询,讲索引中单词对应的文本位置、出现的次数返回给用户,因为有了具体文本的位置,所以就可以将具体内容读取出来了。

2.2、分词原理之倒排索引

01_Elasticsearch 快速入门实战_第6张图片

倒排索引,是根据词条去找Index

3、 ElasticSearch中的核心概念

3.1 索引 index

一个索引就是一个拥有积分相似特征的文档的集合。比如说,可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引

一个索引有一个名字来标识(必须全部是小写字母),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字

3.2 映射 mapping

ElasticSearch中的映射(mapping)用来定义一个文档

mapping是处理数据的方式和规则方面做一些限制,如某个字段的数据类型、默认值、分词器、是否被索引等等,这些都是映射里面可以设置的

3.3 字段 Field

相当于是数据表的字段 | 列

3.4 字段类型 Type

每一个字段都应该有一个对应的类型,例如:Text、Keyword、Byte等

3.5 文档 document

一个文档是一个可别索引的基础信息单元,类似一条记录。文档漪JSON(Javascript Object Notation)格式来表示:

3.6 集群 cluster

一个集群就是由一个或多个节点组织在一起,他们共同持有整个的数据,并一起提供索引和搜索功能

3.7 节点 node

一个节点是集群中的一个服务器,作为集群的一部分,它存储数据,参与集群的索引和搜索功能

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫做 “elasticsearch” 的集群中。

3.8 分片和副本 shards&replicas

3.8.1 分片

一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢

为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。

当创建一个索引的时候,可以指定你想要的分片的数量。

每个分片本身也是一个功能完善并且独立的 “索引”,这个 “索引” 可以被放置到集群中的任何节点上。

分片很重要,主要有两方面的原因:

  • 允许水平分割/扩展你的内容容量
  • 允许在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量

至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于用户来说,这些都是透明的。

3.8.2 副本

在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是分厂有用并且是强烈推荐的。为此目的,Elasticsearch 允许你创建分片的一份或多份拷贝,这些拷贝就叫做副本

副本之所以重要,有两个主要原因:

  • 在分片/节点失败的情况下,提供了高可用性。

    注意:副本不与主节点(original/primary) 分片置于同一个节点上是非常重要的。

  • 扩展搜索量/吞吐量,因为搜索可以在所有的副本上并行运行。

    每个索引可以被分成多个分片。一个索引有0个或者多个副本。一旦设置了副本,每个索引就有了主分片和副本分片,分片和副本的数量可以在索引。创建的时候指定 。在索引创建之后,可以在任何时候动态地改变副本的数量,但是不能改变分片的数量。

4、ElasticSearch安装

版本 :ES7.6

参考:Linux - 安装Elasticsearch

5、客户端Kibana安装

参考:Linux - 安装Kibana

6、安装IK分词器

我们后续也需要使用Elasticsearch来进行中文分词,所以需要单独给Elasticsearch安装IK分词器插件。以下为具体安装步骤:

8、ES 数据管理

8.1 ES数据管理概述

ES是面向文档(document oriented)的,这意味着它可以存储整个对象或文档(document)。

然而它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。

在ES中,你可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。

ES使用JSON作为文档序列化格式。

JSON现在已经被大多语言所支持,而且已经成为NoSQL领域的标准格式。

ES存储的一个员工文档的格式示例:

{
    "email":"[email protected]",
    "name" : "张三",
    "age" : 30,
    "interests" : ["篮球","健身"]
}

8.2 基本操作

1、创建索引
格式: PUT /索引库名字

# 举例
PUT /es_db
2、查询索引
# 举例
GET /es_db
3、删除索引
DELETE /es_db
4、添加文档
# 文档相当于 数据库的行记录

格式:PUT /索引名称/类型/id
在7.x的版本后,类型只能是_doc
之前对于用户表,类型可能就叫user

# 举例
PUT /es_db/_doc/1
{
    "name": "张三",
    "sex" : 1,
    "age" : 25,
    "address": "广州天河公园",
    "remark" : "java developer"
}
PUT /es_db/_doc/2
{
    "name": "张三",
    "sex" : 1,
    "age" : 26,
    "address": "上海长风大悦城",
    "remark" : "java developer"
}
PUT /es_db/_doc/3
{
    "name": "王五",
    "sex" : 1,
    "age" : 27,
    "address": "上海嘉定新城",
    "remark" : "java developer"
}
PUT /es_db/_doc/4
{
    "name": "大琪子",
    "sex" : 2,
    "age" : 26,
    "address": "河北石家庄",
    "remark" : "traveller"
}
PUT /es_db/_doc/5
{
    "name": "兔儿",
    "sex" : 2,
    "age" : 28,
    "address": "上海顺平小区",
    "remark" : "traveller"
}
5、修改文档
# 方式一
格式 : PUT /索引名称/类型/id

# 方式二
格式 : POST /索引名称/类型/id

# PUTPOST 的区别
1PUT 需要一个具体的资源进行操作,也就是要确定id才能进行更新/创建
POST 是可以针对整个资源集合进行操作的,如果不写id就有ES生成一个唯一id进行创建新文档,如果填了id那就针对这个id的文档进行创建/更新
2PUT 只会将json数据都进行替换,POST只会更新相同字段的值
3PUTDELETE 都是幂等性操作,即无论操作多少次,结果都一样

01_Elasticsearch 快速入门实战_第7张图片

6、查询文档
格式:GET /索引名称/类型/id
举例:GET /es_db/_doc/1
7、删除文档
格式:DELETE /索引名称/类型/id
举例:DELETE /es_db/_doc/1

9、Restful 认识

使用Restful 的好处:

  • 透明性,暴露资源存在
  • 充分利用 HTTP 协议本身语义,不同请求方式进行不用操作

10、查询操作

10.1 查询所有文档

格式 : GET /索引名称/类型/_search
举例 : GET /es_db/_doc/_search
SQL: select * from student

# 注意:7.x版本后,可以类型可以省略,变成 :GET /es_db/_search

01_Elasticsearch 快速入门实战_第8张图片

10.2 条件查询

格式:GET /索引名称/类型/_search?q=field:value

# 举例 :要查询age等于26岁的 文档
GET /es_db/_doc/_search?q=age:26

# 相当于 SQL
select * from student where age = 26

10.3 范围查询

格式:GET /索引名称/类型/_search?q=field[start TO end]
注意:TO必须大写

# 举例 :查询年龄在2526之间的
GET /es_db/_doc/_search?q=age[25 TO 26]

# 相当于 SQL
select * from student where age between 25 and 26

10.4 根据多个ID进行查询

格式:GET /索引名称/类型/_mget

# 举例 :查询id=45GET /es_db/_doc/_mget
{
    "ids":["4","5"]
}

# 相当于 SQL
select * from student where id in (4,5)

10.5 查询小于等于

格式:GET /索引名称/类型/_search?q=field:<=value

# 举例 :查询年龄小于等于26GET /es_db/_doc/_search?q=age:<=26

# 相当于 SQL
select * from student where age <= 26

10…6 分页查询

格式:GET /索引名称/类型/_search?q=field:<=value&from=offset&size=pageSize

# 举例 :查询年龄小于等于26的,第2条开始查,查1GET /es_db/_doc/_search?q=age:<=26&from=1&size=1

# 相当于 SQL
select * from student where age <= 26 limit 1,1

10.7 排序

格式:GET /索引名称/类型/_search?sort=field:desc/asc

# 举例 :查询年龄小于等于26的,按年龄降序
GET /es_db/_doc/_search?q=age:<=26&sort=age:desc

# 相当于 SQL
select * from student where age <= 26 order by age desc

10.8 投影显示展示部分字段

格式:GET /索引名称/类型/_search?_source=field1,field2

# 举例 :查询年龄小于等于26的,只显示name,age
GET /es_db/_doc/_search?q=age:<=26&_source=age,name

# 相当于 SQL
select name,age from student where age <= 26 

你可能感兴趣的:(Elasticsearch,elasticsearch)