Elasticsearch 使用

这一系列文章是基于 Elastcsearch7.9.3 版本的

一、基本概念

Elasticsearch,简称 ES,它是一个基于 Lucene 实现的分布式全文检索引擎,可以扩展至上百台服务器集群,处理 PB 量级的数据,使用 ES 可以近乎实时的完成大量数据的存储与检索。使用上也很方便,通过一些简单的 RESTful API 就可以操作 ES,当然也可以和 Java 整合在一起去使用,这些后边都会介绍到。更多花里胡哨的介绍可以自行百度。

上边我们对 ES 有了一个大致上的认识,接下来我们来了解 ES 中的一些基本的概念,加深对 ES 的认识。

初学者直接看一大堆名词容易懵圈,我们可以类比MySql中的一些概念,这样就更容易理解了,先看下边的表格:

MySql Elasticsearch
Database(数据库) Index(索引)
Table(表) Type(类型)
Row(行) Document(文档)
Column(列) Field(字段)
表结构 Mapping(映射)

1、Index(索引)

这个比较好理解,比如我们要存储用户信息,就可以创建一个名为user的索引。可以理解为文档的集合。

2、Type(类型)

类型是在索引的基础上建立的,在 ES6.x 中,一个索引中可以创建多个类型;但从 ES7.x 开始,一个索引中只能创建一个类型,如果我们不指定类型名称,ES 会使用默认的类型名称_doc。其实类型的概念在逐渐的被弱化,理解就行。我们一般可以不指定,使用默认的即可。

3、Document(文档)

文档就是我们存储在 ES 指定索引中的一条 JSON 格式的数据。我们在 ES 中大部分的操作都是基于文档的,这个是重点。

4、Field(字段)

前边说了,文档可以理解成一条 JSON 格式的数据,这里的字段可以简单的理解成 JSON 中的各个字段,但还是有区别的。

5、Mapping(映射)

映射就是用来定义文档中每个字段的属性,例如类型、分词等其它规则约束。关于字段的类型和分词后边会单独介绍。

6、Node(节点)

服务上运行的一个 ES 实例就是一个节点, 一台服务器上可以有多个 ES 节点。

7、Cluster(集群)

将多个运行 ES 的服务器节点组织在一起就是 ES 集群了,如果只有一个节点也算是集群。每个集群都有一个名称(cluster name),作为其唯一标识。同一网段下的节点会根据配置的集群名称决定加入那个集群。

8、Shard(分片)

在 ES7.x版本中,ES默认会为一个索引创建1个主分片和每个主分片对应的1个副本分片,共2个分片;在之前的版本则是默认创建5个主分片和每个主分片对应的1个副本分片,共10个分片。

索引中的数据会被分配到各个主分片上,通常我们都是会搭建 ES 集群,进而这些分片会被分配到不同的节点上,每个分片底层其实是一个 Lucene 索引,可以存储大约21亿个文档。

副本分片是主分片的备份,主分片和备分片不会出现在同一个节点上,防止节点故障导致数据丢失。

二、Elasticsearch 环境搭建

ELK(ElasticSearch+Logstash+Kibana),是目前主流的日志收集分析系统,一般组合使用,但是也可以单独使用,本文讲述其中的ElasticSearch+Kibana两个组件的安装部署步骤,以及其中需要主要的问题。

2.1 下载安装包

1.官网下载地址
https://www.elastic.co/downloads/elasticsearch (当然也可以直接在linux中使用命令下载,但是可能比较慢,我们选择在官网进行下载)
选择对应的系统版本即可

1.png
2.png

2.历史版本下载
这个地址默认是最新的版本,如果想要历史版本,在此页面上找到past releases

点击进去找到想要的版本即可。
本文下载的是6.8.2版本(Elasticsearch和Kibana)
Elasticsearch 6.8.2
Kibana 6.8.2
https://www.elastic.co/cn/downloads/kibana

注意:ES启动需要jdk,我本地已经配置了java8环境变量,不想改动,就用6.X的版本。
如果还没有配置jdk环境变量,则需要先安装jdk,因为ES是基于java以言编写,需要jdk环境。
7.0及以上版本虽然内置了jdk,但是需要java11及以上,我们不适用此版本。

2.2 elasticsearch-6.8.2安装

1.上传安装包至linux
下载好elasticsearch-6.8.2.tar.gz安装包后,上传至linux中,
我放在了/app中,在此目录下使用命令 rz 选择安装包上传即可;

2.解压
上传完成后,使用如下命令解压:

tar -zxvf elasticsearch-6.8.2.tar.gz

3.修改配置文件
进入解压后的config目录,

cd /app/elasticsearch-6.8.2/config

修改elasticsearch.yml配置文件,
找到下面两项配置,开放出来(删除前面的#符号)

network.host: 192.168.212.151
http.port: 9200

4.启动ES
注意,es启动过程中会多次失败,需要修改多处配置文件,注意下文步骤:

a. 进入bin目录

cd /app/elasticsearch-6.8.2/bin

使用如下命令启动(或者./elasticsearch -d ,后台启动模式)

./elasticsearch 

此时会发现启动失败,ES不能使用root用户进行启动。

b. 切换非root用户
添加用户

adduser zss
passwd zss

赋予root权限

  • 方法一:修改 /etc/sudoers 文件,找到下面一行,把前面的注释(#)去掉
## Allows people in group wheel to run all commands
%wheel    ALL=(ALL)    ALL

然后修改用户,使其属于root组(wheel),命令如下:

#usermod -g root tommy

修改完毕,现在可以用tommy帐号登录,然后用命令 su – ,即可获得root权限进行操作。

  • 方法二:修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
tommy   ALL=(ALL)     ALL

然后使用如下命令切换用户

su - zss

用户zss是我之前创建好的;

./elasticsearch,再次启动,发现还有报错:
bootstrap checks failed
max virtual memory areas vm.max_map_count [65530] is

c. 这时候需要修改系统配置文件:

vi /etc/sysctl.conf

添加如下一行内容:

vm.max_map_count=655360

保存后再次启动,./elasticsearch
发现依然报错,
max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

d. 这时候还需要修改系统配置文件:

vi /etc/security/limits.conf

添加如下4行:(*号后有空格)

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

修改完成后,重启linux系统。然后启动ES即可。

注意:7.0以后版本,可能还需要修改其他配置:
在elasticsearch.yml中配置bootstrap.system_call_filter为false,注意要在Memory下面:

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

5.访问ES
注意没关闭防火墙的,需要关闭防火墙:
关闭防火墙

systemctl stop firewalld.service

启动完成后,访问地址,显示如下内容表示启动成功。

本文为了快速搭建并验证效果,使用的是单节点方式,如果需要搭建ES集群,参考后文《ElasticSearch系列(五)linux环境中搭建ES集群》

2.3 kibana安装

1.上传安装包并解压
我们已经下载好了安装包,并上传至了
/home/zjq目录下,同样需要先解压,

2.修改配置文件 kibana.yml

vi /home/zjq/kibana-6.8.2-linux-x86_64/config/kibana.yml

将默认配置改成如下:

server.port: 5601
server.host: “ip”
elasticsearch.host: “http:// ip:9200”

注意修改为自己的ip地址。

3.启动kibana
配置文件修改完成后,kibana可以使用root权限直接到,到bin目录下使用如下命令启动
./kibana

4.访问kibana
http://ip:5601/app/kibana
到此,elasticsearch和kibana安装部署完毕。

你可能感兴趣的:(Elasticsearch 使用)