Elastic Stack(filebeat/logstash/elasticserarch/kibana)性能分析应用

目录

  概要:

1.待分析日志的格式(1条日志):

2.filebeat 设置获取日志的路径:

 3.logstash 匹配日志

4.调试

5.Elasticsearch 插件( 方便对es的查询与删除)

 6.对已有日志进行分析

7、Kibana展示


   

  概要:

使用kibana展示日志分析结果的初衷是性能分析,终于分析出了第一份日志。性能压测情况下,某个日志文件的分析出的响应时间分布。

上篇文章请参看:

logstash config filter 配置(grok、date、ruby):日志拆分转换并展示在kibana中_baidu_41614347的博客-CSDN博客概要:ELK部署成功后,需要kibana图形展示某应用的性能。初步通过统计分析日志的形式来模拟。日志中有sendTime :消息发出时间,recvTime:处理完毕后打印的日志时间。通过logstash对日志进行拆分并计算recvTime和sendTime的差值即处理时间(本文标记为responseTime)。并将responseTime展示在kibana中1、logstash配置文件logstash的配置文件input是来自filebeat端口5044 (filebeat用于收集ou...https://blog.csdn.net/baidu_41614347/article/details/120991440目前的kibana的展示如下图,左侧横轴是消息接收到的时间,纵轴是reponseTime的值,右侧图形是日志的具体信息,展示的字段有recvTimeD ,responseTime,recvID,message(可以根据需要自己添加)方便查看日志。

Elastic Stack(filebeat/logstash/elasticserarch/kibana)性能分析应用_第1张图片

 

 下面是详细的操作过程:

1.待分析日志的格式(1条日志):

2021-10-08 15:00:56,684 INFO [SseMarketConsumer] c.c.c.s.m.s.c.SseMarketConsumer [78] poll msg: StdImsMsg{msgId=1,sendTime=1633676456341,msgType=SSE_SNAP_QUOT,msgSource=SSE-MDGW,comstarOrgId=null,sourceOrgId=null,comstarCategory=1,comstarCode=018009-SSEO,securityKey=018009,serializerCode=7,bodyIdx=62,byteSize=1091}

2.filebeat 设置获取日志的路径:

fields:向输出的每一条日志添加额外的信息,

你可能感兴趣的:(Elastic,Stack,elasticsearch,kibana,elk,大数据)