filebeat日志的复习

前言

许久之前，折腾了elk。但是今天再次处理时，居然不记得了。今天特自己再次处理。

elk我已经搭建过了，这里只是实现 docker 启动filebeat 增加项目日志。

过程

• 先确定日志文件路径。这里的项目是springboot项目，会输出2个日志文件
  1个info.log 1个error.log

    
    

    
        

            
                %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %highlight(%-5level) %msg %cyan(%logger{5}).%M\(%F:%L\)%n
            
        
    

    
    

        
            ${LOG_HOME}/info.log
        
        
            ERROR   
            DENY
            ACCEPT
        
        
            
                %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
            
        
        
        
            
            ${LOG_HOME}/info.%d{yyyy-MM-dd}.%i.log

            30
            
            1GB
            10MB
        
    


    

        
            ${LOG_HOME}/error.log
        
        
            ERROR  
        
        
            
                %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
            
        
        
        
            
            ${LOG_HOME}/error.%d{yyyy-MM-dd}.%i.log
            30
            
            1GB
            10MB
        
    

    
        
        
        
    

• 确定索引的特征
  给日志打上tags 标签。这样提交到logstash时可以针对性处理。

• 编写配置文件filebeat.yml

filebeat:
  prospectors:
    - input_type: log
      paths:  # 这里是容器内的path
          - /logs/robot_iot_test/info.log
          - /logs/robot_iot_test/error.log
      tags: ["robot_iot_test"]
  registry_file: /usr/share/filebeat/data/registry/registry  # 这个文件记录日志读取的位置，如果容器重启，可以从记录的位置开始取日志

output:
  logstash:  # 我这里是输出到elasticsearch，也可以输出到logstash
    hosts: ["xxxxxx:5044"] 

• 启动filebeat的容器，需要引入配置文件和日志文件。

docker run -d   --name=filebeat_robot_iot_test   --user=root -e TZ="Asia/Shanghai"    -v /home/wuwenfu/robot_iot_test/filebeat_config/filebeat.yml:/usr/share/filebeat/filebeat.yml   -v  /home/wuwenfu/robot_iot_test/logs:/logs/robot_iot_test   docker.elastic.co/beats/filebeat:5.6.5 filebeat

• 修改log的格式和输出配置。增加该日志的处理。

if 'robot_iot_test' in [tags]{
 elasticsearch {
    hosts => ["http://172.16.176.26:9200"]
    index => "robot_iot_test-%{+YYYY.MM.dd}"
  }
}

• 最后在kibana中即可 以 robot_iot_test找到日志记录。