手把手教你搭建ELK

一、分布式系统查询日志存在的问题

假如我订单服务总共部署在20台服务器上，如果我们直接登录服务器查询日志的话，那得先看一号机器，没有再看二号机器……并且日志量较多的话，可能一个时间段内日志就被切分成好几个文件，这样查询实在是太麻烦了，ELK就是解决这个问题的。

二、ELK是什么

elk 是 elasticsearch、logstash、kibana 的合称。

elasticsearch：用来搜索数据的；
logstash：用来收集日志的，内置了很多过滤器，可以对收集到的日志做各种过滤处理；
kibana：就是一个界面，用来展示logstash收集到的日志的。

这三种技术我都不会，需要额外地去学习吗？

可能很多人有这个疑问，其实是不需要的，搭建 elk 不需要你会任何一种技术！

三、搭建ELK

1. elasticsearch安装配置步骤

下载地址：elasticsearch
下载后解压，进入bin目录直接执行 elasticsearch 或者 elasticsearch.bat 启动即可。
启动后访问localhost:9200，出现如下界面就启动成功了。

elasticsearch

2. logstash安装配置步骤

下载地址：logstash

下载后解压，拷贝 config 目录下的 logstash-sample.conf，改名为 logstash.conf，修改其配置，内容如下：

input {
   tcp {
     mode => "server"
     host => "127.0.0.1"
     port => 9001
     codec => json_lines
   }
}

output {
     elasticsearch {
         hosts => ["http://127.0.0.1:9200"]
         index => "elk-search-%{+YYYY.MM.dd}"
     }
}

简单解释一下这段配置：

input 块是 logstash 接收日志时的一些配置，output 是 logstash 往 elasticsearch 输送日志的配置；
input.host 是运行 logstash 的服务器的 ip；input.port 是 logstash 的运行端口，可以自己定义；
output.hosts 的 elasticsearch 的 ip 和端口，这是个数组，多个用逗号隔开，由于我们没有修改 elasticsearch 的配置，它默认就是 9200 端口；output.index 是索引；

修改完配置，进入 bin 目录指定配置文件启动即可，例如：./logstash -f ../config/logstash.conf，如果是 windows 版本，执行logstash.bat -f ../config/logstash.conf即可。

3. kibana安装配置步骤

下载地址：kibana
下载后解压，然后拷贝一份 config 目录下的 kibana.yml，根据自己的需要可以修改配置，比如端口（默认5601）、host、elasticsearch.hosts（默认localhost:9200）等。我这里都用默认的，没有修改。
到 bin 目录下执行 ./kibana就可以启动了，windows 执行 kibana.bat即可。
启动完访问 localhost:5601，看到如下界面就启动成功了。

kibana

4. 项目中配置日志输出到logstash

引入依赖，比如我用的 logback，那么需要如下依赖：

 
    net.logstash.logback
    logstash-logback-encoder
    7.0.1


    org.slf4j
    slf4j-api
    1.7.30


    ch.qos.logback
    logback-classic
    1.2.3

编写logback-spring.xml，内容如下：



    
    
    
    

    
    
        
            [%X{traceid}] %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %M:%L - %msg %n
        
    
    
        logs/logback-today-${APP_NAME}.log
        
            
            logs/${APP_NAME}.%d{yyyy-MM-dd}.log
            
            30
        
        
            %d{HH:mm:ss.SSS} [%thread] %-5level %logger{35} - %msg %n
        
    
    
    
        
        0
        
        256
        
        
    
    
    
        
        127.0.0.1:9001
        
        
            
                
                    Asia/Shanghai
                
                
                    
                        {
                        "app_name":"${APP_NAME}",
                        "traceid":"%X{traceid}",
                        "ip": "%X{ip}",
                        "server_name": "%X{server_name}",
                        "level": "%level",
                        "trace": "%X{X-B3-TraceId:-}",
                        "span": "%X{X-B3-SpanId:-}",
                        "parent": "%X{X-B3-ParentSpanId:-}",
                        "thread": "%thread",
                        "class": "%logger{40} - %M:%L",
                        "message": "%message",
                        "stack_trace": "%exception{10}"
                        }

这里的核心配置就是输出到 logstash 那一段，主要 logstash 的 ip 和端口要和刚才配置的一致。

5. 在kibana中查询日志

启动你自己的项目；
访问localhost:5601，点击左侧最下方图标【Management】--> 【Index Patterns】--> 【Create index pattern】

index pattern

这里就可以看到刚才在 logstash 配置文件中配置的 index 了，即 elk-search-2022.04.11，我们新建一个 index pattern 能够匹配到这个 index 就好了，比如我新建的叫 elk-search*，然后保存即可。

最后点击左侧第一个图标【discover】，就可以查询日志了。

discover