使用ELK搭建后端业务日志分析系统

互联网服务上线之后需要密切关注用户的使用情况，这就需要一个能够整合多个系统日志并提供报表分析可视化的工具。ELK是(elastic-search, logstash, kibana)的缩写。它提供了可扩展的，风格酷炫的日志平台服务

一. logstash 服务

logstash作为节点日志采集的agent，部署在业务服务的后端服务器上。实时监听日志文件夹内容的变更，并将“抽取”出来的内容发往elastic-search服务。安装十分的简单，可以直接参考官网说明，主要工作是需要编写适合自己日志格式的配置文件

logstash 的一个示例文件

说明
一个日志采集agent需要配置：input(codec)->filter->output(codec)，这3个部分
input：是每行一个json格式字符串的日志文件。type对应elastic-search中索引的名字
filter：添加了根据用户ip映射地理信息的字段，后面用来可视化地理位置报表信息
output:制定了日志采集后发往的elastic-search服务master地址

这个例子为了方便收集信息改造了应用程序打印日志的格式，但是实际的应用场景更多的是需要兼容现有的日志格式并抽取出有用的部分，这就需要使用grok正则表达式

grok示例

说明
捕捉字段的格式如下：
${NUMBER:col_name:type}：NUMBER表示捕获的正则表达式内容，col_name表示为内容新起的变量名，type表示目标转换的数据类型
注意，最后一句表示不包含目标正则的行需要drop掉
正则表达式测试工具
logstash支持的预定义的正则表达式列表

二. elastic-search 服务

多个业务线的多台机器日志会汇总在elastic-search集群。在日志处理中主要使用了es支持的聚合查询功能，放弃了自定义复杂的分词功能（作为搜索引擎服务）
使用es的优点是：
1）现有的集群化方案已经十分完备和成熟。扩容方便
2）http rest接口方便管理和查询

数据的集群化：水平切分和垂直切分

说明
如图中所示：leon是一个node名称，bnvil是一个index名称，它有2个分片，每个分片都有6个副本
【插件：elasticsearch-head】：这个插件的界面如上图，可以查询和管理整个elastic search的集群

三. kibana 服务

kibana直接依赖于es服务，其将报表所需要的中间数据也都放在了es

• 日志详情页Discover

日志详情页Discover

说明
这个页面会按照时间倒序展示上报的日志，可以直接搜索关键词( 注意要完整匹配:因为为了节省空间字段一般会设置为:not analyze)

• 可视化单元创建页Visualize

可视化单元创建页Visualize

说明
这个页面可以制作可视化图表，作为后面dashboard的基本单元

• 整体数据看板Dashboard

整体数据看板Dashboard

说明：
（1）57对应的是“Metric”图表
（2）popular contries 对应的是“Areachart”图表
（3）Byte rings 对应的是“pie chart”图表

四. 总结

总体来说elk架构比较清晰，易于扩展，稳定性好。实际使用中还需要注意以下几点

1. logstash 失败重启
   可以部署supervisor实现
2. es集群的权限和安全管理
   http rest带来方便的同时，也迫切的需要工具来管理权限，以防止造成信息的泄露
   这个官方给出了工具：shield
3. kibana 看板的权限管理
   这个可以在服务上游使用nginx作为代理，添加权限管理，可以参考【1】中内容进行配置

五. 参考

1. 《ELKstack 中文指南》
2. 《Elasticsearch权威指南》