背景:当前系统后台为微服务架构,多结点分布式的日志文件落在各自结点的统一路径,当开发,测试,产品相关人员想查看某次请求执行的详细日志,或者系统异常进行排查,开发,运维同学需要逐个登陆与服务相关的每个服务器结点,进行日志查询和场景复现,工作重复冗余,而且误漏掉某个结点可能导致分析失败。
问:核心系统服务请求执行日志或请求异常场景复现一共分几步?
1.测试场景复现
2.登陆相关服务器节点
3.进入业务日志目录
4.在日志文件搜索关键字
5.统计相关服务日志,重复2,3,4,5操作
预估操作步骤,服务结点数N*4,每增加一个结点都将增加一倍的重复操作,如果漏掉某个结点或日志,可能导致错误场景复现失败,前功尽弃...
为了解决该痛点,简化日志查询,快速定位日志详细信息,通过开源工具调研,选择ELK作为项目的日志监控及搜索系统,在服务端分布式部署logstash,elasticsearch,kibana,通过logstash收集各个结点的业务日志,通过elasticsearch搜索引擎进行汇总分析,通过kibana进行页面搜索交互,高效解决登陆不同服务器查看相关日志的痛点,使问题查询更方便,工作更高效,让繁琐的事情变的简单。
ELK相关介绍及日志分析系统的搭建
ELK Stack 是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。
ELK Stack成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统的日志处理方案相比,ELK Stack 具有如下几个优点:
• 处理方式灵活。Elasticsearch 是实时全文索引,不需要像 storm 那样预先编程才能使用;
• 配置简易上手。Elasticsearch 全部采用 JSON 接口,Logstash 是 Ruby DSL 设计,都是目前业界最通用的配置语法设计;
• 检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应;
• 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的;
• 前端操作炫丽。Kibana 界面上,只需要点击鼠标,就可以完成搜索、聚合功能,生成炫丽的仪表板。
官网地址:https://www.elastic.co/cn/
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ),它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据。
ELK架构图:
服务器环境 : x86_64,Enterprise Linux Server
软件版本 : ElasticSearch 6.8.6 Logstash 6.8.6 Kibana 6.8.6 JDK 1.8.0_181
官方下载不够稳定,耗时长,资源在csdn已经上传,链接如下:
Kibana下载
https://download.csdn.net/download/wxd89/12252638
ElasticSearch下载
https://download.csdn.net/download/wxd89/12252631
Logstash下载
https://download.csdn.net/download/wxd89/12252620
官方最高版本当前版本号7.6.X,jdk要求java11,在调研阶段,使用适配当前jdk标准的官方推荐版本6.8.6,各个组件版本适配且调试稳定,网上大部分教程都在5.x,6.2.x系列,从保持较新版本,适配当前的业务考虑,选择6.8.6作为ELK Stack的应用部署版本,后续可随着依赖组件版本的更新进行升级。
1、 ElasticSearch安装及部署
1.1 下载ElasticSearch,通过官网下载安装压缩包 elasticsearch-6.8.6.tar.gz
cd /usr/local/app/ #服务端存放应用安装程序路径
tar -zxvf elasticsearch-6.8.6.tar.gz
1.2 创建用户,并将ElasticSearch安装权限归新用户所有(如果你本就是组内用户,忽略此步骤)
useradd query
passwd query
chown -R query:query elasticsearch-6.8.6/
1.3 修改配置
vi config/elasticsearch.yml
network.host: 172.168.160.195 #(你自己的服务器ip,以172.168.160.195为例)
discovery.zen.ping.unicast.hosts: ["172.168.160.194", "172.168.160.195"] # 如果是集群部署增加其它结点ip,单实例部署忽略此配置
1.4 启动
./bin/elasticsearch -d
1.5 测试
出现如上图一样的响应信息说明ES安装成功。
2、搭建LogStash
2.1 测试logstash
执行logstash控制台输入与输出指令:
logstash -e 'input { stdin { } } output { stdout {} }'
2.2 新增data_log.conf,配置要收集的日志文件目录,支持正则表达式,配置要输出的ES服务
input{
file{
#配置监听收集的文件
path => "/data/log/*.log"
#排除不想监听的文件
exclude => "/data/log/*20*.log" start_position => "beginning"
#添加自定义的字段
add_field => {"host"=>"172.168.160.194"}
#增加标签
tags => "172.168.160.194"
}
}
output {
#将输出保存到elasticsearch,如果没有匹配到时间就不保存,因为日志里的网址参数有些带有换行 elasticsearch {
hosts => "172.168.160.194:9200"
index => "credit-decision-log"
}
}
2.3 后台启动
./logstash -f logstash_data_log.conf &
3、搭建Kibana
3.1 修改config/kibana.yml
# The URLs of the Elasticsearch instances to use for all your queries.
elasticsearch.hosts: ["http://your_es_ip:9200"]
3.2 启动kibana后台启动成功以后会监听5601端口
./kibana &