每天5分钟玩转Kubernetes | Kubernetes集群日志管理

书籍来源:cloudman《每天5分钟玩转Kubernetes》

一边学习一边整理老师的课程内容及试验笔记,并与大家分享,侵权即删,谢谢支持!

附上汇总贴:每天5分钟玩转Kubernetes | 汇总_COCOgsta的博客-CSDN博客


Kubernetes开发了一个Elasticsearch附加组件来实现集群的日志管理。这是Elasticsearch、Fluentd和Kibana的组合。Elasticsearch是一个搜索引擎,负责存储日志并提供查询接口;Fluentd负责从Kubernetes搜集日志并发送给Elasticsearch;Kibana提供了一个Web GUI,用户可以浏览和搜索存储在Elasticsearch中的日志,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第1张图片

15.1 部署

Elasticsearch附加组件本身会作为Kubernetes的应用在集群里运行,其YAML配置文件可从
https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch获取,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第2张图片

可将这些YAML文件下载到本地目录,比如addons,通过kubectl apply -f addons/部署,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第3张图片

这里有一点需要注意:后面我们会通过NodePort访问Kibana,需要注释掉kibana-deployment.yaml中的环境变量SERVER_BASEPATH,否则无法访问,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第4张图片

所有的资源都部署在kube-system Namespace里,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第5张图片

DaemonSet fluentd-es从每个节点收集日志,然后发送给Elasticsearch,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第6张图片

Elasticsearch以StatefulSet资源运行,并通过Service elasticsearch-logging对外提供接口。这里已经将Service的类型通过kubectl edit修改为NodePort。

可通过
http://192.168.56.106:32607/验证Elasticsearch已正常工作, 如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第7张图片

Kibana以Deployment资源运行,用户可通过Service kibana-logging访问其Web GUI。这里已经将Service的类型修改为NodePort, 如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第8张图片

通过
http://192.168.56.106:30319/访问Kibana,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第9张图片

Kibana会显示Index Pattern创建页面。直接单击Create,Kibana会自动完成后续配置,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第10张图片

这时,单击左上角的Discover就可以查看和检索Kubernetes日志了,如图所示。

每天5分钟玩转Kubernetes | Kubernetes集群日志管理_第11张图片

Kubernetes日志管理系统已经就绪,用户可以根据需要创建自己的Dashboard,具体方法可参考Kibana官方文档。

15.2 小结

Elasticsearch附加组件本身会作为Kubernetes的应用在集群里运行,以实现集群的日志管理。它是Elasticsearch、Fluentd和Kibana的组合。

Elasticsearch是一个搜索引擎,负责存储日志并提供查询接口。

Fluentd负责从Kubernetes搜集日志并发送给Elasticsearch。

Kibana提供了一个Web GUI,用户可以浏览和搜索存储在Elasticsearch中的日志。

你可能感兴趣的:(读书笔记,kubernetes,elasticsearch,big,data)