k8s集群搭建EFK日志平台：ElasticSearch + Fluentd + Kibana

k8s集群

kubectl get node

EFK简介

ElasticSearch：分布式存储检索引擎，用来搜索、存储日志

Fluentd：日志采集

Kibana：读取es中数据进行可视化web界面展示

下载

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

安装

进入efk目录：cd efk/

创建EFK所用的命名空间：kubectl create -f create-logging-namespace.yaml

创建es-service：kubectl create -f es-service.yaml

创建es集群：kubectl create -f es-statefulset.yaml

查看pod

创建kibana：kubectl create -f kibana-deployment.yaml -f kibana-service.yaml

查看kibana服务：kubectl get svc -n logging

暴露的端口为30338

创建fluentd：kubectl create -f fluentd-es-ds.yaml -f fluentd-es-configmap.yaml

查看pod状态：kubectl get po -n logging

确认均为1/1

使用

访问kibana：http://192.168.117.161:30338/kibana

192.168.117.161:30338/kibana

添加数据

创建索引 

自动读取到索引

输入：logstash*，会显示匹配到的资源

Discover

效果

验证

看日志：kubectl logs product-78fcbdfd6b-l9ffp -n test

随便找一行日志

2021-11-09 14:35:19.207 ERROR 7 --- [  XNIO-2 task-1] io.undertow.request                      : UT005023: Exception handling request to /queryAllProduct

搜索

搜索结果包含我们要查找的日志

展开看详情，可以根据容器名、主机名、应用标签、名称空间、pod名称等来查找

 

选择添加条件

也可以修改条件