ElasticStack日志系统
Elastic Stack
简介
Elastic Stack 是原 ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。Elastic Stack 在实时日志处理领域已开成开源界的第一选择
组件
Kibana
Kibana用来实现数据的可视化。Kibana以图表的形式呈现数据。并且具有可扩展的用户页面，可以用来全方位配置和管理Elastic Stack
Elasticsearch
Elasticsearch 用来搜索、分析、存储数据。Elasticsearch是基于JSON的分布式搜索和分析引擎，
Beats
Beats是一个轻量级的采集器，支持在边缘向Logstash和Elasticsearch 发送数据
FileBeat
Filebeat 是一个轻量级的日志采集器，用于将源数据采集后发送给Logstash，并且Filebeat使用背压敏感协议，以考虑更多的数据量。如果Logstash正在忙于处理数据，则可以让Filebeat知道减慢读取速度。还有很多Beat可以提供选择，有监控网络的Packbeat，指标Metricbeat。各种beat详情：https://www.elastic.co/cn/products/beats
fileBeat 是Beats家族的一款，
每台服务器部署Logstash是比较耗资源的, 毕竟是java项目. 好在作者重新用golang写了一套新的采集工具filebeat, 性能更高,
Logstash
Logstash 是一个开源的，服务端数据处理管道。 它可同时从多个源来搜集数据，对数据进行过滤等操作，并且将数据传送到你想要传送的地方进行存储。
由于Logstacsh 占用系统资源较多，采用Filebeat来作为我们的日志收集器。
数据流程图
[图片上传失败...(image-a8a0ff-1516244391268)]
环境搭建
将ELK和filebeat下载后解压到一个目录下，四个产品都是开箱即用的。
Logstash安装与配置
下载地址: https://www.elastic.co/cn/downloads/logstash
Logstash的作用主要是用来处理数据，当然它也可以直接从日志文件读取记录然后进行处理
在Logstash的根目录，我们需要建立一个新文件logstash.conf:
[图片上传失败...(image-d32d74-1516244391262)]
运行:
bin/logstash -f logstash.conf
Filebeat安装与配置
下载地址: https://www.elastic.co/downloads/beats/filebeat
Filebeat作为日志搜集器，肯定是需要指定输入源和输出地，所以我们需要先配置它。在Filebeat的根目录下我们需要在filebeat.yml中:
[图片上传失败...(image-ba91e6-1516244391261)]
运行:
sudo ./filebeat -e -c filebeat.yml
Elasticsearch的安装与配置
下载地址: https://www.elastic.co/cn/downloads/elasticsearch
Elasticsearch默认配置安装，下载包后解压
[图片上传失败...(image-865ddf-1516244391261)]
运行:
bin/elasticsearch
Kibana安装与配置
下载地址: https://www.elastic.co/cn/downloads/kibana
设置conf/kibana.yml 将elasticsearch.url指向到Elasticsearch实例
[图片上传失败...(image-9a02c0-1516244391260)]
运行:
bin/kibana
Kibana使用
启动后页面
[图片上传失败...(image-fdbc87-1516244391260)]
点击管理
[图片上传失败...(image-316d78-1516244391260)]
创建索引
[图片上传失败...(image-a875ad-1516244391274)]
Filebeat写入日志
echo zzzzzzzzzzzzzzzz >> hha.log
查找[图片上传失败...(image-b615a0-1516244391258)]
Kibana登录认证
kibana是nodejs开发的，本身并没有任何安全限制，直接浏览url就能访问，如果公网环境非常不安全，可以通过nginx请求转发增加认证
Centos环境：
安装nginx
yum install nginx
安装 htpasswd 命令
yum install httpd
生成账号密码:
htpasswd -c /data/nginx/db/passwd.db elkadmin
-c 后面是生成的账号密码信息储存文件
Nginx配置如下：
[图片上传失败...(image-97ec07-1516244391260)]
启动nginx . 访问20512端口，提示输入账号密码
[图片上传失败...(image-a8d8ea-1516244391260)]
输入账号密码进入主页面
[图片上传失败...(image-7e5c41-1516244391260)]
收集Java日志
日志一般格式
date log-level log-message => 时间 日志级别 日志内容
Java异常栈处理
示例：
[图片上传失败...(image-8b2449-1516244391260)]
由于默认按行读取，此处需要将多行异常变为一行
Logstash 和 filebeat 都可以处理， 此处在 filebeat 处理
修改filebeat.yml 配置
[图片上传失败...(image-2e9421-1516244391260)]
提取信息
同样的这次我们对Java日志做一些信息提炼，也就是使用过滤规则，将date，log-level,log-message等提取出来
logstash.conf:
[图片上传失败...(image-c131a8-1516244391260)]
值得注意的就是我们使用filter插件，在其中我们使用了grok(基于正则表达式)过滤我们的日志内容。grok可以将无规则的日志数据通过正则匹配将之转换成有结构的数据，以此我们能够根据相应结构进行查询。grok的使用方式是：%{规则:自定义字段名称}
Grok表达式库：
https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
https://github.com/hpcugent/logstash-patterns/tree/master/files
区分标识filebeat
Filebeat配置 filebeat.yml
[图片上传失败...(image-25fed8-1516244391259)]
Kibana处显示:
[图片上传失败...(image-a2470-1516244391259)]
区分标识fileBeat读取的文件
FileBeat 配置 filebeat.yml
[图片上传失败...(image-5a4478-1516244391259)]
Kibana处显示:
[图片上传失败...(image-7282a7-1516244391259)]