ELK分布式日志系统搭建
ELK分布式日志系统搭建
1.ELK流程介绍
ELK分布式日志系统工作流程如下图所示：
2.Elasticsearch 7.0 集群搭建
参考skyWalking一文中ES集群搭建
3.kinaba 搭建
3.1 下载及上传kinaba安装包
- 下载
版本目录地址：https://www.elastic.co/cn/downloads/
这里下载当前最新kinaba的7.9.2版本。
- 解压
tar -zxf kibana-7.9.2-linux-x86_64.tar.gz
3.2 修改配置文件
vi /xxx/kibana/kibana-7.9.2-linux-x86_64/config/kibana.yml
修改配置文件如下图：
如需设置kibana UI为中文可修改配置文件中的国际化模式
i18n.locale: "zh-CN"
3.3 kibana的后台启动和停止
nohup ../bin/kibana &
ps -ef|grep node
ps -ef|grep 5601
kill pid
启动成功，如图：
4.filebeat 搭建
在应用部署的服务器安装filebeat，可每个应用部署一个filebeat。
4.1 下载及上传filebeat安装包
- 下载
版本目录地址：https://www.elastic.co/cn/downloads/
这里下载当前最新kinaba的7.9.2版本。
- 解压
tar -zxf filebeat-7.9.2-linux-x86_64.tar.gz
4.2 修改配置文件
vi /xxx/filebeat/filebeat-7.9.2-linux-x86_64/filebeat.yml
配置应用的日志收集目录：
filebeat集成kibana进行可视化展示：
filebeat配置输出日志到Logstash：
-
ps:filebeat 多行日志的处理
https://www.cnblogs.com/toSeek/p/6120778.html?utm_source=itdadao&utm_medium=referral
4.3 filebeat的后台启动和停止
nohup ./filebeat -e -c filebeat.yml
ps -ef|grep filebeat
kill pid
5.logstash 搭建
5.1 下载及上传logstash安装包
- 下载
版本目录地址：https://www.elastic.co/cn/downloads/
这里下载当前最新logstash的7.9.2版本。
- 解压
tar -zxf logstash-7.9.2.tar.gz
5.2 修改配置文件
#拷贝模板配置文件
cp logstash-sample.conf logstash.conf
vi /xxx/logstash/logstash-7.9.2/config/logstash.conf
配置Logstash输出到ES的环境，其中支持多个output，可以根据不同的filebeat输入整理日志保存各个应用的日志，再输出到ES保存成不同的索引（index）。还支持自定义的filter来分析日志以及处理日志格式，增强可读性：
5.3 logstash的后台启动和停止
因为安全问题，logstash不允许root用户直接运行，所以要创建新用户，在root用户中创建新用户，执行如下命令：
#新增logstash用户
useradd logstash
#为logstash用户设置密码
passwd logstash
再为新用户授权
#文件夹所有者
chown -R es:es /xxx/logstash/logstash-7.9.2
- 启动和停止Logstash
nohup ./bin/logstash -f config/logstash.conf
ps -ef|grep logstash
kill pid
6. 配置kinaba UI和日志索引
导航栏的 management ——> stack management ——> Create index pattern
如图所示：
创建索引:
最终看到日志：
