使用filebeat收集kubernetes容器日志

kubernetes官方插件使用EFK来处理容器日志, 其中F指代Fluentd(Fluentd属于CNCF项目), 用于收集容器的日志。但是由于Fluentd用起来的确不怎么舒服(Ruby风格配置文件), 而Logstash又过于重量级(光启动就需要消耗大约500M内存), 而Elatic家族的Beats系列中的Filebeat既轻量又无依赖, 因此是作为DaemonSet部署的不二之选。

架构

在进行日志收集的过程中, 我们首先想到的是使用Logstash, 因为它是ELK stack中的重要成员, 但是现在的ELK家族的产品有了新的变化:

从中可以看出Logstash的定位变了, 它用于日志的原始数据的分析和转换(grok), 因此在轻量级的方案中首选Beats系列, 下面是基于ELK改造过后的基于Filebeat的容器日志处理方案:
使用filebeat收集kubernetes容器日志_第1张图片

依赖部署

在Kubernetes中以DaemonSet部署Filebeat之前, 我们需要先做如下准备:

  • 安装Elasticsearch, Kibana
  • 安装Filebeat用于测试EFK已经能正常工作
  • 以DaemonSet部署Filebeat

部署Elasticsearch和Kibana

在部署Filebeat之前需要先部署Elasticsearch和Kibana, 关于这2部分的部署请参考:

你可能感兴趣的:(PaaS)