私有部署ELK，搭建自己的日志中心（一）-- 概述

一、说在前面的话

任何一家公司的开发和测试环境，都不可避免需要日志中心。
话不多说，我接下来将逐步梳理，如何在公司的研发环境下，搭建一套日志中心。
涉及到的组件有：

• filebeat
• kafka
• logstash
• elasticsearch
• kibana
• kafka ui

以采集jvm日志为示例，采集对象不外乎是以下两种：

• 虚拟机
• k8s Pod容器

市面上采集日志的技术层出不穷，但是我以为elk还是比较老牌，也足够稳定。
好处是：运维简单，使用门槛低。

二、文章顺序

1、搭建ELK

分别讲述组件logstash、es、kibana以及filebeat。示意图见下：

这一块内容是基础，我们为了篇幅不至于过长，把之拆分为多篇：

• filebeat
• logstash
• ElasticSearch / kibana

2、采集部署在k8s容器里的jvm日志

讲述filebeat如何在k8s容器下，采集jvm日志。
于是，我们的方案演变如下：

3、引入消息中间件Kafka，削峰填谷

顺便，我们还搭建一个kafka的管理UI工具，以便于清晰地看到日志被采集上来的内容。

至此，我们的日志中心也就搭建完成，完全可以胜任你的生产采集需求。

4、日志中心的总结

最后一篇不出意外是我们本系统文章的总结。