ELK日志分析平台实战（ES） ES搜索引擎
ELK主要由三个重要组件：
- elasticsearch搜索分析引擎
- logstash数据采集
- kibana可视化
一、elasticsearch实战
简介
- Elasticsearch 是一个开源的分布式搜索分析引擎,建立在一个全
文搜索引擎库 Apache Lucene基础之上。 - Elasticsearch 不仅仅是 Lucene,并且也不仅仅只是一个全文搜索
引擎:
• 一个分布式的实时文档存储,每个字段 可以被索引与搜索
• 一个分布式实时分析搜索引擎
• 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构
化数据
| 基础模块 | 作用 |
|---|---|
| cluster: | 管理集群状态,维护集群层面的配置信息。 |
| alloction: | 封装了分片分配相关的功能和策略。 |
| discovery: | 发现集群中的节点,以及选举主节点。 |
| gateway: | 对收到master广播下来的集群状态数据的持久化存储。 |
| indices: | 管理全局级的索引设置。 |
| http: | 允许通过JSON over HTTP的方式访问ES的API。 |
| transport: | 用于集群内节点之间的内部通信。 |
| engine: | 封装了对Lucene的操作及translog的调用。 |
- elasticsearch应用场景:
- 信息检索
- 日志分析
- 业务数据分析
- 数据库加速
- 运维指标监控
• 官网:https://www.elastic.co/cn/
我们下载软件时可以去这个网站下载，比较快。
https://elasticsearch.cn/download/
elasticsearch安装与配置
[root@server4 ~]# rpm -ivh elasticsearch-7.6.1.rpm # 安装ES
# 修改配置文件:
[root@server4 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml
luster.name: my-es #集群名称
node.name: server4 #主机名需要解析
path.data: /var/lib/elasticsearch #数据目录
path.logs: /var/log/elasticsearch #日志目录
bootstrap.memory_lock: true #锁定内存分配
network.host: 172.25.0.4 #主机ip
http.port: 9200 #http服务端口
cluster.initial_master_nodes: ["server4"] #
做了这些设定后我们是起不来服务的因为我们没有对系统进行设定，不满足要求。
修改系统限制:
[root@server4 elasticsearch]# vim /etc/security/limits.conf
elasticsearch - nofile 65535 # 限定文件数量，不得大于内核限制（sysctl -a | grep file）
elasticsearch - nproc 4096 # 进程数
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
由于服务有systemd 启用，所以我们去指定systemd的系统限制：
[root@server4 elasticsearch]# vim /usr/lib/systemd/system/elasticsearch.service
## 在service语句块下添加
LimitNOFILE=65535
LimitMEMLOCK=infinity
# 修改java虚拟机限制
[root@server4 elasticsearch]# cd /etc/elasticsearch/
[root@server4 elasticsearch]# vim jvm.options
-Xms1g
-Xmx1g
Xmx设置不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存。但不要超过32G。
这里我们应该给这台虚拟机2G的内存。
然后我们去禁用交换分区，会影响数据的交互：
[root@server4 elasticsearch]# echo 0 > /proc/sys/vm/swappiness 数值越大月倾向于使用swap分区
[root@server4 elasticsearch]# swapoff -a
[root@server4 elasticsearch]# vim /etc/fstab
#/dev/mapper/rhel-swap swap swap defaults 0 0 # 禁用掉开机自启
现在就可以启动了：
[root@server4 ~]# systemctl daemon-reload
[root@server4 ~]# systemctl start elasticsearch.service
[root@server4 elasticsearch]# curl 172.25.254.4:9200
{
"name" : "server4",
"cluster_name" : "my-es", # 可以访问了
"cluster_uuid" : "UHOmLiHiQ1CwOx2J6R3Kxg",
elasticsearch插件安装
但是这样还不够刺激，我们想要给它加一个图形界面：
我们需要去下载插件：
下载elasticsearch-head插件
-
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
head插件本质上是一个nodejs的工程,因此需要安装node:
-
wget https://mirrors.tuna.tsinghua.edu.cn/nodesource/rpm_9.x/el/7/x86_64/nodejs9.11.2-1nodesource.x86_64.rpm
[root@server4 ~]# ls
master.zip # 需要这个插件
[root@server4 ~]# unzip master.zip
[root@server4 ~]# ls
elasticsearch-head-master master.zip
然后我们需要进入这个目录里面执行 npm 这个命令，这时我们安装node包
[root@server4 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
warning: nodejs-9.11.2-1nodesource.x86_64.rpm: Header V4 RSA/SHA256 Signature, key ID 34fa74dd: NOKEY
Preparing... ################################# [100%]
Updating / installing...
1:nodejs-2:9.11.2-1nodesource ################################# [100%]
然后我们进入目录，由于npm install 很慢，所以我们更换一个仓库下载
[root@server4 ~]# cd elasticsearch-head-master/
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
PhantomJS not found on PATH # 发现环境变量少了一个东西，
Downloading https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
Saving to /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
# 让去这里下载
[root@server4 ~]# ls
phantomjs-2.1.1-linux-x86_64.tar.bz2 #下载好了
[root@server4 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@server4 ~]# cd phantomjs-2.1.1-linux-x86_64/
[root@server4 phantomjs-2.1.1-linux-x86_64]# ls
bin ChangeLog examples LICENSE.BSD README.md third-party.txt
[root@server4 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@server4 bin]# ls
phantomjs
[root@server4 bin]# cp phantomjs /usr/local/bin/ # 复制这个二进制文件到环境变量就可以使用这个命令了
[root@server4 ~]# phantomjs
phantomjs: error while loading shared libraries: libfontconfig.so.1: # 又缺少了一个库文件
[root@server4 ~]# yum install fontconfig-2.13.0-4.3.el7.x86_64 -y
[root@server4 ~]# phantomjs
phantomjs>
phantomjs>
# 就代表成功了
在重新npm install
[root@server4 elasticsearch-head-master]# npm install --registry=https://registry.npm.taobao.org
我们还要修改ES主机ip和端口：
[root@server4 elasticsearch-head-master]# cd _site/
[root@server4 _site]# ls
app.css app.js background.js base fonts i18n.js index.html lang manifest.json vendor.css vendor.js
[root@server4 _site]# vim app.js
[root@server4 _site]# npm run start & # 启动head插件
[1] 3732
[root@server4 _site]#
> [email protected] start /root/elasticsearch-head-master
> grunt server
(node:3742) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100 # 访问的9100
在浏览器访问是这样的，但是连接不成功，因为不允许跨域访问，所以我们应该修改ES跨域主持
[root@server4 _site]# vim /etc/elasticsearch/elasticsearch.yml
# Set a custom port for HTTP:
#
http.port: 9200
http.cors.enabled: true # 是否支持跨域
http.cors.allow-origin: "*" # *表示支持所有域名
systemctl restart elasticsearch.service # 重启服务
就连接上了。
创建一个索引：
刷新一下：
加粗的是主分片，细的是辅分片，健康状态变成了黄色，代表主分片存在，辅分片丢失。如过变成了红色，就代表没有可用分片了。
elasticsearch分布式部署
以相同的方法再安装两个ES节点,配置如下:
[root@server4 _site]# ssh-keygen
[root@server4 _site]# ssh-copy-id server1
[root@server4 _site]# ssh-copy-id server2 # 做免密,然后将配置的文件全部复制过去
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server1:
[root@server4 ~]# scp elasticsearch-7.6.1-x86_64.rpm server2:
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server1:/etc/elasticsearch/
[root@server4 elasticsearch]# scp -p /etc/elasticsearch/elasticsearch.yml server2:/etc/elasticsearch/
[root@server4 security]# scp /etc/security/limits.conf server1:/etc/security/
[root@server4 security]# scp /etc/security/limits.conf server2:/etc/security/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server1:/usr/lib/systemd/system/
[root@server4 system]# scp /usr/lib/systemd/system/elasticsearch.service server2:/usr/lib/systemd/system/
然后更改他们的配置文件：
vim /etc/elasticsearch/elasticsearch.yml
server4：
discovery.seed_hosts: ["server4", "server1", "server2"] # 改这里，其它不变
cluster.initial_master_nodes: ["server4","server1","server2"] # 需要多个master结点进行切换
server1：
node.name: server1
network.host: 172.25.254.1
discovery.seed_hosts: ["server4", "server1", "server2"]
cluster.initial_master_nodes: ["server4","server1","server2"]
server2：
node.name: server2
network.host: 172.25.254.2
discovery.seed_hosts: ["server4", "server2", "server1"]
cluster.initial_master_nodes: ["server4","server1","server2"]
然后在三个结点都
[root@server2 ~]# systemctl daemon-reload
[root@server2 ~]# systemctl start elasticsearch.service # server1是restart
查看ES集群状态
当前server4 是master结点，其他两个是worker结点。
elasticsearch节点角色
- Master:
- 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master
不负责数据的索引和检索,所以负载较轻。当Master节点失联或者挂掉的
时候,ES集群会自动从其他Master节点选举出一个Leader。
- 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master
- Data Node:
- 主要负责集群中数据的索引和检索,一般压力比较大。
- Coordinating Node:
- 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默
认就是Coordinating node,且不能关闭该属性。
- 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点默
- Ingest Node:
- 专门对索引的文档做预处理
elasticsearch节点优化
- 在生产环境下,如果不修改elasticsearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题。
- 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,
也都存储数据,还可以提供查询服务。 - 节点角色是由以下属性控制:
- node.master: false|true
- node.data: true|false
- node.ingest: true|false
- search.remote.connect: true|false
默认情况下这些属性的值都是true。
于是我们现在就有五种组合：
我们这样设置：
在server4上：
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: server4
node.master: true
node.data: false
node.ingest: false
search.remote.connect: false
# 让他成为master节点
server1上
# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false
让他可以接管master，也存储数据
server2上
# Use a descriptive name for the node:
#
node.name: server1
node.master: true
node.data: true
node.ingest: false
search.remote.connect: false
让他可以接管master，也存储数据,这里我们先不做预处理结点
然后重启三台服务，这时serve4是起不来的，是因为我们设置 不做存储结点，但是之前已经有数据了，所以我们要进行清理
[root@server4 elasticsearch]# cd /usr/share/elasticsearch/
[root@server4 elasticsearch]# cd bin/ # 里面有命令
[root@server4 bin]# elasticsearch-node repurpose
[root@server4 bin]# systemctl restart elasticsearch.service
-
生产集群中可以对这些节点的职责进行划分
- 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主
节点,维护整个集群的状态。 - 再根据数据量设置一批data节点,这些节点只负责存储数据,后期提供建
立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的
压力也会比较大。 - 所以在集群中建议再设置一批协调节点,这些节点只负责处理用户请求,
实现请求转发,负载均衡等功能。
- 建议集群中设置3台以上的节点作为master节点,这些节点只负责成为主
-
节点需求
- master节点:普通服务器即可(CPU、内存 消耗一般)
- data节点:主要消耗磁盘、内存。
- path.data: data1,data2,data3
这样的配置可能会导致数据写入不均匀,建议只指定一个数据路径,磁盘可以使
用raid0阵列,而不需要成本高的 ssd。 - Coordinating节点:对cpu、memory要求较高。
调整后的ES集群状态：
