EFK(Elasticsearch+Filebeat+Kibana)收集容器日志

介绍

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大量日志数据,也可用于搜索许多不同类型的文档。

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能,Beats 还能将数据输送到 Logstash 进行转换和解析。

Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。不仅如此,您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。

Elasticsearch 通常与 Kibana 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。

 

EFK架构图:

EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第1张图片

安装

这里采用helm chart安装

官方地址:https://github.com/elastic/helm-charts

1.安装elasticsearch

$ helm fetch elastic/elasticsearch

$ kubectl create ns logs

$ helm repo add elastic https://helm.elastic.co

#修改values.yaml文件中pv为storageClass动态分配

 volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  storageClassName: "managed-nfs-storage"
  resources:
    requests:
      storage: 30Gi
$ helm install -n elasticsearch --namespace=logs ./elasticsearch

查看状态

EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第2张图片

2.安装kibana

$ helm fetch elastic/kibana

#修改values.yaml文件中service为nodePort类型

 service:
  type: NodePort
  port: 5601
  nodePort: 30056
$ helm install -n kibana  --namespace=logs ./kibana

查看状态

EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第3张图片

3.安装filebeat

$ helm fetch elastic/filebeat
#默认读取的是节点/var/lib下的所有文件
# Root directory where Filebeat will write data to in order to persist registry data across pod restarts (file position and other metadata).
hostPathRoot: /var/lib

$ helm install -n kibana  --namespace=logs ./kibana

 查看状态,因为是DaemonSet类型所以每台node都会装一个。

 EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第4张图片

使用

登录kibana,创建index

EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第5张图片

可以过滤日志

EFK(Elasticsearch+Filebeat+Kibana)收集容器日志_第6张图片

 

你可能感兴趣的:(EFK(Elasticsearch+Filebeat+Kibana)收集容器日志)