elasticsearch+Logstash+filebeat+kibana实现日志的收集存储

elasticsearch+Logtash+filebeat实现日志的收集存储

elasticsearch,logtash,filebeat 的安装去官网(https://www.elastic.co/cn/elastic-stack)下载对应版本的压缩包，在window下解压即可使用，这里就不多做介绍了，window下载window的，linux下载linux的。

如果不会如何SpringBoot打印日志，请看https://blog.csdn.net/weixin_44012722/article/details/105778261

1、FileBeat

1.1 去解压目录下的filebeat.yml修改配置文件

2.Logstash

2.1 去解压目录下的config目录下复制logstash-sample.conf到bin目录下，并改名为logstash.conf,修改其内容 (记得把我中文注释删掉否则会报错，我只是方便你们看而已)

input {
  beats {
    port => 5044 /Logstash暴露的/端口
  }
}

filter {
	//过滤器的一种还有一个gock可以去了解
    mutate {

        split => ["message","  ==  "]  //把信息以  ==  分割
		add_field => {   //分割后的字符串数组设置对应的字段名
		    "time" => "%{[message][0]}"
		}
		add_field => {
		    "level" => "%{[message][1]}"
		}
		add_field => {
		    "thread" => "%{[message][2]}"
		}
		add_field => {
		    "class" => "%{[message][3]}"
		}
		add_field => {
		    "message" => "%{[message][4]}"
		}
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"] 
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" //设置索引名
    #user => "elastic"
    #password => "changeme"
  }
}

3.elasticsearch下载可以使用了（注意他依赖jdk所以对应的不同版本elasticsearch对应不同版本的jdk，可以去官网看）

4.开始启动测试

//去到elasticsearch目录下的bin,启动elasticsearch
elasticsearch
//去logstash目录下的bin，启动logstash
logstash -f logstash.conf
//去filebeat目录下，启动filebeat
filebeat -e -c filebeat.yml

5.启动要点时间，启动完成后，启动springboot日志打印，过一会去elasticsearch-head(一款Chrome的插件)查看，或者通过http请求获得elasticsearch中的数据，elasticsearch是支持restful接口服务

6.另一个可视化工具是Kibana，也是去ELK官网下载解压即可（注意因为Kibana是依赖JDK和NodeJs，所以要有这两个的环境的安装）

6.1 修改Kinbana的config下的kibana.yml,把这三个注释去掉

去bin目录下点击Kibana启动

访问http://localhost:5601

7.具体如何使用看着篇博客

https://www.cnblogs.com/lazycxy/archive/2019/08/28/11423066.html

数据成功收集到了elasticsearch中！！！