ELK-7.6.1部署记录
ELK-7.6.1部署记录
文章目录
- ELK-7.6.1部署记录
- 1. 搭建jdk环境
- 2. 搭建前准备
- 2.1 创建用户
- 2.2 修改系统参数(root操作)
- 3. ES安装部署
- 3.1 elasticsearch安装部署
- 4. kibana安装部署
- 5. Logstash的安装部署
- 6. 安装metricbeat
- 7. 安装Filebeat
- 8. kibana中查看系统指标
- 10. 所需部署包下载地址
操作系统CentOS7.6,最小化+开发工具安装.
1. 搭建jdk环境
注意：elasticsearch自带openjdk 13.0.2，可以不安装单独jdk。
全局环境，使用root操作。
- 上传jdk安装包jdk-8u241-linux-x64.tar.gz
- 解压到/usr/java/，命令如下：
mkdir /usr/java/
tar -zxf jdk-8u241-linux-x64.tar.gz -C /usr/java/
- 修改/etc/profile系统环境变量：
vim /etc/profile
在文件最后空一行，添加如下内容：
# java
JAVA_HOME=/usr/java/jdk1.8.0_241
JRE_HOME=/usr/java/jdk1.8.0_241/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/:$JRE_HOME/lib:$CLASSPATH
export JAVA_HOME JRE_HOME PATH CLASSPATH
- 使jdk生效，退出后重新登录或执行如下命令：
source /etc/profile
- 检查jdk环境
java -version
提示如下表示jdk环境OK：
java version "1.8.0_241"
Java(TM) SE Runtime Environment (build 1.8.0_241-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.241-b07, mixed mode)
2. 搭建前准备
2.1 创建用户
创建用户组elk和用户elk
groupadd elk
useradd -g elk -m -d /home/elk elk
passwd elk
123456
2.2 修改系统参数(root操作)
修改系统限制， vim /etc/security/limits.conf
* soft nofile 102400
* hard nofile 102400
* - core unlimited
* - nofile 65535
* - nproc 256800
root - nproc 256800
修改信号量， vim /etc/sysctl.conf
# 该参数必须大于等于262144，否则es启动会报错。
vm.max_map_count=262144
使信号量生效
sysctl -p
确认内核参数是否生效：
sysctl vm.max_map_count
3. ES安装部署
3.1 elasticsearch安装部署
- 上传es安装包elasticsearch-7.6.1-linux-x86_64.tar.gz到服务器
- 创建 elasticsearch 目录，如 /home/elk/es/
创建 elasticsearch data的存放目录，如 /home/elk/es/data/
创建 elasticsearch logs的存放目录，如 /home/elk/es/logs/
mkdir /home/elk/es/
mkdir /home/elk/es/data/
mkdir /home/elk/es/logs/
- 解压elasticsearch-7.6.1.tar.gz 到es目录
tar -zxf elasticsearch-7.6.1-linux-x86_64.tar.gz -C /home/elk/es/
- 修改elasticsearch的配置文件
cd /home/elk/es/elasticsearch-7.6.1/config/
vim elasticsearch.yml
修改如下内容：
# 第17行，打开该配置并设置集群名称，如 elk+ip后两位
cluster.name: elk-116.8
# 第23行，打开该配置并设置节点名称，如 node-ip后两位
node.name: node-116.8
# 第33行，打开该配置并设置data存放的路径
path.data: /home/elk/es/data
# 第37行，打开该配置并设置logs日志存放的路径
path.logs: /home/elk/es/logs
# 第55行，打开该配置并设置为监听的网络地址
network.host: 192.168.116.8
# 第59行，打开该配置并设置监听的端口
http.port: 9200
# 第68行，建议打开此配置，在启动此节点时，传递主机的初始列表以执行发现，单台机器只填写一个IP，多台机器使用填写多个IP，用逗号隔开。ip可以用主机名代替。
discovery.seed_hosts: ["192.168.116.8"]
# 第72行，建议打开此配置，使用初始的符合主机资格的节点集引导集群，填写节点名称即可。
cluster.initial_master_nodes: ["node-116.8"]
- 修改启动参数，调整启动内存大小，默认1g，可以不修改。
vim jvm.options
根据实际情况，修改22、23行内存大小，建议设置为一致。
-Xms1g
-Xmx1g
- 启动服务
cd /home/elk/es/elasticsearch-7.6.1/bin
nohup ./elasticsearch &
查看启动日志
tailf nohup.out
- 启动成功后，可以检查端口是否使用：
netstat -antop|grep 9200
有如下显示表示在监听端口中：
tcp6 0 0 192.168.116.8:9200 :::* LISTEN 19377/java off (0.00/0/0)
可以使用浏览器访问如下地址：
http://192.168.116.8:9200/
页面展示如下：
4. kibana安装部署
上传安装包kibana-7.6.1-linux-x86_64.tar.gz到服务器
创建目录并解压
mkdir /home/elk/kibana/
tar -zxf kibana-7.6.1-linux-x86_64.tar.gz -C /home/elk/kibana/
修改配置文件
cd /home/elk/kibana/kibana-7.6.1-linux-x86_64/config
vim kibana.ym
修改内容如下：
# 第7行，启用该配置，并修改为IP地址
server.host: "192.168.116.8"
# 第25行，启用该配置，并自定义服务名
server.name: "kibana-116.8"
# 第28行，启用该配置，并修改为ES的地址和端口
elasticsearch.hosts: ["http://192.168.116.8:9200"]
# 第115行，启用该配置，设置语言环境为中文
i18n.locale: "zh-CN"
启动kibana
cd /home/elk/kibana/kibana-7.6.1-linux-x86_64/bin
nohup ./kibana &
查看日志
tailf nohup.out
查看进程，kibana为node启动
ps -ef|grep node
查看端口，默认为5601端口
netstat -atnop|grep 5601
5. Logstash的安装部署
安装Logstash环境，确认已配置好jdk1.8
- 上传部署包logstash-7.6.1.tar.gz到服务器
- 创建logstash目录，解压部署包到此目录
mkdir /home/elk/logstash
tar -zxf logstash-7.6.1.tar.gz -C /home/elk/logstash
- 配置logstash
进入配置目录下，复制配置文件
cd /home/elk/logstash/logstash-7.6.1/config/
cp logstash-sample.conf logstash.conf
修改配置文件 vim logstash.conf
# 第12行，修改localhost为实际IP地址
hosts => ["http://192.168.116.8:9200"]
- 启动logstash
cd /home/elk/logstash/logstash-7.6.1/bin
nohup ./logstash -f ../config/logstash.conf &
- 查看启动日志
tailf nohup.out
或者
cd /home/elk/logstash/logstash-7.6.1/logs
tailf logstash-plain.log
- 查看进程
ps -ef|grep logstash
- 查看端口，默认端口5044
netstat -atnop|grep 5044
netstat -atnop|grep PID # PID为进程的id
6. 安装metricbeat
metricbeat模块用来收集系统指标发送给elasticsearch或logstash，请先确保es和kibana已经运行。
- 上传部署包metricbeat-7.6.1-linux-x86_64.tar.gz
- 创建目录，解压metricbeat
mkdir -p /home/elk/beat/metricbeat/
tar -zxf metricbeat-7.6.1-linux-x86_64.tar.gz -C /home/elk/beat/metricbeat/
- 启用system模块，开始收集系统指标
cd /home/elk/beat/metricbeat/metricbeat-7.6.1-linux-x86_64
./metricbeat modules enable system
- 设置上报对象，修改配置文件
metricbeat.yml
cd /home/elk/beat/metricbeat/metricbeat-7.6.1-linux-x86_64
vim metricbeat.yml
# 第67行，启用该行，并修改为kibana的地址
host: "192.168.116.8:5601"
4.1 默认metricbeat上报事件到elasticsearch，修改配置文件metricbeat.yml如下：
# 第92行，默认该行启用，表示metricbeat将事件发送到elasticsearch
output.elasticsearch:
# 第94行，需修改为ES的地址，默认端口为9200
hosts: ["192.168.116.8:9200"]
4.2. [暂不可用] 可以手动修改，使metricbeat上报事件到logstash，修改配置文件metricbeat.yml如下：
# 第92行，禁用该行
#output.elasticsearch:
# 第94行，禁用该行
#hosts: ["localhost:9200"]
# 第105行，启用该行，表示metricbeat将事件发送到logstash
output.logstash:
# 第107行，启用该行，修改为logstash的地址，默认端口为5044
hosts: ["192.168.116.8:5044"]
- 设置初始环境
./metricbeat setup -e
出现如下提示时，表示初始化完成，大概需30秒，会自动回到终端。
Kibana dashboards successfully loaded.
- 启动Metricbeat
nohup ./metricbeat -e &
- 查看日志
tailf nohup.out
Metricbeat启动后，开始向ES发送采集到的系统指标
注：其他beat插件工具安装方法请自行学习。
7. 安装Filebeat
注：此部分可以在页面依次点击主页-添加日志数据-系统日志，按照自管型步骤进行操作，最后检查数据OK后，即可查看相关数据。
注：如果是收集系统日志，则需要root运行。其他需要有相应文件的访问权限
filebeat是日志文件数据收集工具
- 上传部署包filebeat-7.6.1-linux-x86_64.tar.gz
- 创建目录，解压filebeat
mkdir -p /home/elk/beat/filebeat/
tar -zxf filebeat-7.6.1-linux-x86_64.tar.gz -C /home/elk/beat/filebeat/
- 修改配置文件 filebeat.yml
cd /home/elk/beat/filebeat/filebeat-7.6.1-linux-x86_64
vim filebeat.yml
# 第28行，需要爬取日志的路径，使用绝对路径，默认如下，可以自行修改
- /var/log/*.log
3.1 默认filebeat上报日志到elasticsearch，修改如下：
# 第148行，默认该行启用，表示filebeat上报日志到elasticsearch
output.elasticsearch:
# 第150行，需修改为ES的地址，默认端口为9200
hosts: ["192.168.116.8:9200"]
3.2 如需上报到logstash，需修改配置文件如下：
# 第148行，禁用该行
#output.elasticsearch:
# 第150行，禁用该行
# hosts: ["localhost:9200"]
# 第161行，启用该行，表示filebeat将日志发送到logstash
output.logstash:
# 第163行，启用该行，修改为logstash的地址，默认端口为5044
hosts: ["192.168.116.8:5044"]
- 测试配置是否正确，测试输出output是否正确
./filebeat test config
./filebeat test output
- 启用和配置system模块，从安装目录中，运行：
./filebeat modules enable system
将会在modules.d/system.yml文件中修改设置。
- 启动filebeat服务
./filebeat setup
nohup ./filebeat -e &
- 查看日志
tailf logs/filebeat
- 查看进程
ps -ef|grep filebeat
8. kibana中查看系统指标
浏览器输入以下地址：
http://192.168.116.8:5601/app/kibana#/dashboard/Metricbeat-system-overview-ecs
或者输入以下地址：
http://192.168.116.8:5601
然后点击右侧 仪表板（Dashboard），输入system，找到"[Metricbeat System] Overview ECS"，并点击，如图：
进入后页面如图：
在此即可监视系统使用情况。
10. 所需部署包下载地址
elk所需安装包，均可在elasticsearch官网找到，或者es中文社区找到。
es官网下载：https://www.elastic.co/cn/downloads/
es中文社区下载：https://elasticsearch.cn/download/
- ES安装部署包：elasticsearch-7.6.1.tar.gz
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1.tar.gz - kibana安装部署包：kibana-7.6.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/kibana/kibana-7.6.1-linux-x86_64.tar.gz - logstash安装部署包：logstash-7.6.1.tar.gz
https://artifacts.elastic.co/downloads/logstash/logstash-7.6.1.tar.gz - metricbeat安装部署包：metricbeat-7.6.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.6.1-linux-x86_64.tar.gz - filebeat安装部署包：filebeat-7.6.1-linux-x86_64.tar.gz
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-linux-x86_64.tar.gz
参考链接：
https://www.jianshu.com/p/934c457a333c
https://www.qikegu.com/docs/3105
https://blog.51cto.com/cloumn/blog/240
https://www.cnblogs.com/yuhuLin/p/7018858.html