环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender)

随着公司日益增长的业务，日志增长较快，各种bug层出不穷。为了快速定位问题以及做告警/数据分析等问题，就针对性的查看/搭建了几种日志服务系统。

可能整理的不是那么正确或者详尽。但也记录一下，方便日后回顾时补充或者参考。

对于整个日志服务的规划大概如下：

 

不同日志服务框架对比

     

阿里系

其他

 

编号

 

(一)Logtail

(二)Appender

(三)ELK

(四)Hadoop

(五)Splunk

费用

1

费用

按量收费

按量收费

开源

开源

商业版

日志接入方式

2

服务端

安装logtail服务端,配置采集源

无

logstash

—

Splunk服务端

3

客户端

安装logtail客户端

替换log4j并配置

logstash-forwarder

—

Splunk客户端

4

搭建难度

按照教程配置

简单

开源相关软件全部安装

开源相关软件全部安装

官网下载后破解

5

分布式支持

支持

–

支持

支持

支持

数据范围

6

数据范围

增量数据

增量数据

全量数据

全量数据

全量数据

数据采集

7

方式

目标机器 -> 服务端               服务端    -> 阿里云

目标机器  ->  阿里云

目标机器 -> 服务端             (logstash  -> ElasticSearch)

目标机器 -> 服务端

目标机器 -> 服务端              (forward -> server)

8

传输格式

极简/分隔符/JSON格式

原内容

过滤后/JSON格式

可过滤

过滤后的索引文件

9

监控

logtail有控制台

无

logstash可监控

flume

Splunk forward

10

可靠性(数据丢失率)

高

高

高

高

高

11

数据迁移/硬盘增加[指日志数据]

监控增加目录配置

–

     

数据查询

12

查看[图形化界面]

阿里后台

阿里后台

kibana

分析结果入库查询？

服务端web控制台

13

权限

阿里账号

阿里账号

权限可分配

？

权限可分配

14

语法

大同小异

数据处理

15

扩展

局限于阿里云系列产品

插件

插件

？

16

图形化支持

是

是

是

是

是

17

支持导出

导出阿里云存储类系列产品

kibana导出cvs/excel

?

excel/其他

性能影响

18

日志搜集这一块

参考测评：https://blog.csdn.net/qq_27252133/article/details/54019965

 

试用下来，

1.阿里的Appender配置最为简单，只要替换相关jar包，并做log4j的配置即可，且不占用自己磁盘空间，直接上传服务器。但是收费！

2.商业版的Splunk也是一套比较完善且实用的工具，界面友好，操作简单，基本满足所有的需求。需要破解！

3.ELK是开源的，官网提供的安装包基本是一键安装式的，配置简单。一些奇怪问题可能网上资料少,需要研究！

4.阿里的logtail，整体的配置感觉要比ELK复杂稍许，功能强大，较局限于阿里系产品的转换(如数据导出)。但是收费!

5.Hadoop作为数据分析的大哥，过于重量级，且不是那么的熟悉，果断放弃。

6. 其他同类产品可能差不多，就不多做阐述了

 

最终通过一系列的考察\分析，最终选择了ELK作为公司的日志服务框架。

环境搭建之Mac下安装SplunkEnterprise日志服务程序/SplunkForward通用转发器部署客户端

环境搭建之ELK(ElasticSearch+LogStash+Kibana)Mac/Linux系统上搭建6.4.2

其他待补充

 

---

   原创文章，转载请标明本文链接: 环境搭建之日志搜集/采集服务系统对比(logtail/hadoop/elk/splunk/appender) 

来源：https://www.deathearth.com/320.html