海量日志分析方案--logstash+kibnana+kafka

下图为唯品会在qcon上面公开的日志处理平台架构图。听后觉得有些意思，好像也可以很容易的copy一个，就动手尝试了一下。

目前只对flume===>kafka===>elacsticSearch===>kibnana（logstash）这条线路做一个简单的demo，以后有时间尝试整个架构的学习。

以下为日志处理平台的展现图。

 

 

当然logstash还能做很多事情，demo中并未接入实际的数据，图形并不是很美观。

下面将简单介绍这一平台搭建过程：

现在我们来搭建这样flume===>kafka===>elacsticSearch===>kibnana（logstash）一个日志收集分析平台

首先分解以下问题，将日志收集和日志分析分开，分为flume====>kafka和logstash两部分。

为了比较有成就感，我们先搭建logstash。logstash的搭建非常简单，详见http://logstash.net/