logstash的快速使用

同品：

filebeat：只做数据收集，讲数据输出到指定目的地，占用资源小

logstash:收集日志数据，还能过滤，转换数据，组需要更多资源

目录

1.logstash的安装

2.配置文件

3.创建容器

4.引入依赖

5.添加logback文件

6.查询使用

7.Filebeat安装以及使用

---

1.logstash的安装

docker pull logstash:7.8.0

2.配置文件

vim /mydata/logstash/logstash.conf

input {
  tcp {
  mode => "server"
  host => "0.0.0.0"
  port => 5044
  codec => json_lines
  }
}
filter{
  
}
output {
  elasticsearch {
#指定安装的es的地址
  hosts => "192.168.200.128:9200"
  index => "gmall-%{+YYYY.MM.dd}"
  }
}

3.创建容器

docker run --name gmalldocker_logstash -p 5044:5044 \
--restart=always \
--link gmalldocker_elasticsearch:es \
-v /mydata/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
-d logstash:7.8.0

4.引入依赖

    net.logstash.logback
    logstash-logback-encoder
    5.1

5.添加logback文件

    logback

    
    

    
    
    
    
    
    
    

    
    

    
    


    
    
        
        
            INFO
        
        
            
            ${CONSOLE_LOG_PATTERN}
            ${ENCODING}
        
    

    
    
        
        ${log.path}/log.log
        true
        
            ${FILE_LOG_PATTERN}
            ${ENCODING}
        
    

    

        
        
            ERROR
            ACCEPT
            DENY
        

        
        ${log.path}/log-rolling-error.log
        
            ${FILE_LOG_PATTERN}
            ${ENCODING}
        


        
        
            
            ${log.path}/info/log-rolling-error-%d{yyyy-MM-dd}.%i.log
            
            15

            
                100MB
            
        
    

    
    
        
        192.168.200.128:5044
        
    


    
    
        
        
        
        
            
            
            
            
            
            
            
            
        
    

    
    
    
    
    

    
    
    
    
    

6.查询使用

启动后进行查询，查看索引。并进行查询相关内容。

 进行查询相关值。

GET /gmall-2023.05.22/_search
{
  "query": {
    "match": {
      "level": "error"
    }
  },
  "aggs": {
    "infoAgg": {
      "terms": {
        "field": "level.keyword",
        "size": 10
      }
    }
  }
}

7.Filebeat安装以及使用

先授权权限

chmod 777 -R /var/log/messages

docker run -d \
  --name=filebeat \
  --restart=always \
  -v filebeat-conf:/usr/share/filebeat \
  -v /var/log/messages:/var/log/messages \
  --link 906eb54816be:gmalldocker_elasticsearch \
  elastic/filebeat:7.8.0

#906eb54816be是容器名字

修改配置文件，是yml形式的

ps:set nu:表示显示文件的行号

dd:删除当行

%d：删除n行数据

d行号

进入到目录：
cd /var/lib/docker/volumes/filebeat-conf/_data
修改配置文件
vim filebeat.yml
内容如下
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

processors:
  - add_cloud_metadata: ~
  - add_docker_metadata: ~

output.elasticsearch:
  hosts: 'es网址:9200'
  indices:
   - index: "filebeat-%{+yyyy.MM.dd}"

重启filebeat