ELK的日志解决方案

1. 安装和配置ELK

确保你已经安装了Elasticsearch、Logstash和Kibana。你可以按照官方文档或使用包管理工具进行安装。

Elasticsearch官方配置文档

Kibana官方配置文档

2. Logstash配置

拉取logstash

创建容器

docker run -it \
--name logstash \
--privileged \
-p 5044:5044 \
-p 9600:9600 \
--network wn_docker_net \
--ip 172.18.12.72 \
-v /etc/localtime:/etc/localtime \
-d logstash:7.17.7

容器配置

编辑文件

logstash.yml

path.logs: /usr/share/logstash/logs
config.test_and_exit: false
config.reload.automatic: false
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.107.130:9200" ]

piplelines.xml

- pipeline.id: main
  path.config: "/usr/share/logstash/pipeline/logstash.conf"

logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 5044
    codec => json_lines
  }
}
filter{
}
output {
    elasticsearch {
      hosts => ["192.168.107.130:9200"]       #elasticsearch的ip地址
      index => "ssc-logs"                          #索引名称
    }
    stdout { codec => rubydebug }
}
~                                                                                                             
~                                                                                                             
~      

这个配置文件使用Beats输入插件监听5044端口，并将数据发送到Elasticsearch。你可以根据实际需求添加其他过滤规则。 

将配制好的文件拷贝到容器的原文件位置替换原文件

重启容器

docker restart logstash

释放端口

firewall-cmd --add-port=9600/tcp --permanent
firewall-cmd --add-port=5044/tcp --permanent
firewall-cmd --reload

3. 编写Java代码

引入框架

    net.logstash.logback
    logstash-logback-encoder
    7.3

创建logback-spring.xml

    
    
        
        
            DEBUG
        
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n
            
            UTF-8
        
    

    
    
        
        true
        
            %d{yyyy-MM-dd HH:mm:ss.SSS} -%5level ---[%15.15thread] %-40.40logger{39} : %msg%n
            UTF-8 
        

    

    
    
        192.168.107.130:5044
        
            
            yyyy-MM-dd HH:mm:ss
            {"appname":"QueryApp"}
        
    


    
        
        
        
    

 

这里用自己服务器的IP 

@Slf4j
@RestController
@RequestMapping("/api/query")
public class QueryController {
    @Autowired
    private IBookDocService ibs;
    @GetMapping("/helloLog")
    public HttpResp helloLog(){
        List all = ibs.findAll();
        log.debug("从es查询到的数据:{}",all);
        log.debug("我是来测试logstash是否工作的");
        return HttpResp.success(all.subList(0,100));
    }
}

4.配置Kibana

创建一个索引

put ssc-logs

创建索引模式

 

5. 在Kibana中查看日志

打开 Kibana，导航到 "Discover" 页面，你应该能够看到从Java应用程序发送的日志。利用Kibana的搜索和可视化功能，你可以更轻松地分析和监控日志数据。