ELK分布式日志系统搭建

ELK分布式日志系统搭建

1.ELK流程介绍

ELK分布式日志系统工作流程如下图所示：

2.Elasticsearch 7.0 集群搭建

参考skyWalking一文中ES集群搭建

3.kinaba 搭建

3.1 下载及上传kinaba安装包

• 下载

版本目录地址：https://www.elastic.co/cn/downloads/

这里下载当前最新kinaba的7.9.2版本。

• 解压

tar -zxf kibana-7.9.2-linux-x86_64.tar.gz

3.2 修改配置文件

vi /xxx/kibana/kibana-7.9.2-linux-x86_64/config/kibana.yml

修改配置文件如下图：

如需设置kibana UI为中文可修改配置文件中的国际化模式

i18n.locale: "zh-CN"

3.3 kibana的后台启动和停止

nohup ../bin/kibana &

ps -ef|grep node
ps -ef|grep 5601
kill pid

启动成功，如图：

4.filebeat 搭建

在应用部署的服务器安装filebeat，可每个应用部署一个filebeat。

4.1 下载及上传filebeat安装包

• 下载

版本目录地址：https://www.elastic.co/cn/downloads/

这里下载当前最新kinaba的7.9.2版本。

• 解压

tar -zxf filebeat-7.9.2-linux-x86_64.tar.gz

4.2 修改配置文件

vi /xxx/filebeat/filebeat-7.9.2-linux-x86_64/filebeat.yml

配置应用的日志收集目录：

filebeat集成kibana进行可视化展示：

filebeat配置输出日志到Logstash：

• ps:filebeat 多行日志的处理

  https://www.cnblogs.com/toSeek/p/6120778.html?utm_source=itdadao&utm_medium=referral

4.3 filebeat的后台启动和停止

nohup ./filebeat -e -c filebeat.yml

ps -ef|grep filebeat
kill pid

5.logstash 搭建

5.1 下载及上传logstash安装包

• 下载

版本目录地址：https://www.elastic.co/cn/downloads/

这里下载当前最新logstash的7.9.2版本。

• 解压

tar -zxf logstash-7.9.2.tar.gz

5.2 修改配置文件

#拷贝模板配置文件
cp  logstash-sample.conf logstash.conf
vi  /xxx/logstash/logstash-7.9.2/config/logstash.conf

配置Logstash输出到ES的环境，其中支持多个output，可以根据不同的filebeat输入整理日志保存各个应用的日志，再输出到ES保存成不同的索引（index）。还支持自定义的filter来分析日志以及处理日志格式，增强可读性：

5.3 logstash的后台启动和停止

因为安全问题，logstash不允许root用户直接运行，所以要创建新用户，在root用户中创建新用户，执行如下命令：

#新增logstash用户
useradd logstash
#为logstash用户设置密码
passwd logstash

再为新用户授权

#文件夹所有者
chown -R es:es /xxx/logstash/logstash-7.9.2

• 启动和停止Logstash

nohup ./bin/logstash -f config/logstash.conf

ps -ef|grep logstash
kill pid

6. 配置kinaba UI和日志索引

导航栏的 management ——> stack management ——> Create index pattern
如图所示：

创建索引:

最终看到日志：