Logstash: timestamp时间差8小时问题及解决

场景

通过metricbeat收集服务器系统日志，metricbeat中的日志发送到kafka中

Logstash中的时间为格林威治时间，因此通过logstash采集到的数据和我们的时间会有8小时的时差

如果在后续代码中处理很有可能会处理遗漏掉，造成数据的时间错误。

版本

logstash 7.6.0

 

解决方案如下

input {
  beats {
    port => 5044
  }
}

filter {
  ruby { 
    code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" 
  }
  mutate {
    remove_field => ["@timestamp","ecs"]
  }
}
 
output {
  kafka {
    bootstrap_servers => "localhost:9092"
    codec => json
    topic_id => "METRIC_BEAT"
  }
}

logstash生成文件名中的日期是从@timestamp字段的值中获取，通过设置filter将timestamp中的时间转换成系统时间，问题解决。