Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)

本篇文章我们来解决第三个问题:

kibana又如何用直观的显示我们希望看到的日志报表?

根据数据显示看板,大致三步,

第一步是设置数据源,根据我们之前推送给elasticsearch的日志数据,使用management标签创建索引模式;

第二步根据第一步创建的索引模式,使用Visualize 标签页用来设计可视化图形;

第三步根据第二步做好的可视化图形,使用Dashboard标签来配置我们的看板

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第1张图片

一、下面我们开始做第一步,创建索引:

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第2张图片

目前有两天的数据,我们创建一个能包含这两天数据的索引模式:

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第3张图片

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第4张图片 创建好索引模式后,点击“Discover”标签后就可以看到我们创建的“errinfo-scm”索引模式下匹配到的日志数据,我们可以编辑显示字段,哪些显示,哪些不显示,选好后,点击保存按钮就可以将本次设置保存,下次只需要点击“打开”按钮就能快速打开本次筛选设置,很方便。

其实简单的日志跟踪查询,在这里就可以达到目的了,可以分时间查询到不同级别的错误,以及有哪些错误。Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第5张图片

二、开始第二步,创建可视化面板:

因为本次我们解析获得的是日志中有哪些错误信息,方便开发去查错,及时处理问题,其实这种场景并不是很适合做视图,做看板,常见的适合场景是从业务的角度去分析数据,根据分析数据反映出客户的操作习惯,为运营部门以及产品部提供参考,做一些预测。

官方说明地址:https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html 

我们这里纯粹是从技术的角度来看kibana工具是怎么使用的,所以我们下面做几个简单的可视化

1、创建一个折线图,看看每天的一个BUG量走势,配置很简单,点击增加存储桶,添加X轴,把它设置为@timestamp,把最小时间间隔选为每天一次,即统计的就是每天的量。

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第6张图片

“指标和轴”tab页里面可以做一些设置,比如图表类型,线条的样式等等

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第7张图片

面板设置可以对位置,网格,阀值等属性进行设置

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第8张图片

设置好后,点击保存,保存该可视化,查看可视化,已经OK了

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第9张图片

2、我们再来创建一个数据表图,对报错的类进行分组统计,看各个报错的java类,错误占比:

先选择“数据表”模板新建可视化

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第10张图片

 2、存储桶-add,选择拆分行,选择分组的字段,我这里选择errorclass字段,定制标签那里填写“错误类名称”,点击应用更改,显示如下图,保存。

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第11张图片

 OK,两个可视化创建完成,大家可以根据自己的需要多了解一些其它模板的使用方法。

三、开始第三步,创建看板:

1、点击“Dashborad”标签,创建新的仪表盘,点击上部的“添加”按钮,选择我们上面创建的两个面板

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第12张图片

创建后效果如下:

Filebeat +Kafka + Logstash + ElasticSearch +Kibana +解析日志文件实例(四)_第13张图片 我们可以直接拖动面板进行布局位置调整,也可以点击每个面板右上角的管理按钮进行管理,比如定制面板可以设置面板标题。

到目前为止,一个比较low的看板就做好了,我们可以通过后续继续解析一些日志数据,查看看板的数据变化,对上述的设置进一步优化改进。

你可能感兴趣的:(ELK)