腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!

作者:腾讯云 ES 团队

对于需要采集并分析腾讯云TKE容器日志的场景,可以使用 Filebeat 采集数据,并将采集的数据传输到腾讯云 Elasticsearch 集群中进行存储,如果需要加工与处理,也可以先将数据发送到腾讯云 Logstash 中进行过滤与预处理,再将数据传输到腾讯云 Elasticsearch 集群中,然后在Kibana中对日志数据进行检索与分析。  本文介绍如何在腾讯云Elasticsearch Service中配置 Filebeat 采集部署在腾讯云的TKE容器日志,并在Kibana中对日志数据进行检索分析,以及对Pod进行下钻分析。

优势特性

  • 一站式可视化采集配置,轻松两步,即可在腾讯云ES控制台完成TKE容器日志的采集设置。

  • Pod主动发现,当您增加了新的命名空间或者新部署一个Pod后, 不需要再次修改采集配置,Filebeat将主动发现并采集新的Pod的日志。

  • 高效便捷的数据检索与分析,通过Kibana即可完成日志数据的检索分析,并可对Pod进行下钻分析。

使用限制

  • 腾讯云TKE实例、腾讯云ES集群和Logstash实例,必须在同一VPC下,且腾讯云ES集群和Logstash实例的大版本相同。如果不在同一个VPC,则需要打开ES集群的公网访问,并自己手动部署beats,以及修改相应的配置。

使用步骤

Filebeat采集器配置

1.登录腾讯云Elasticsearch Service控制台,在Beats管理界面,授权服务相关角色,在Filebeat采集器选择TKE日志采集

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第1张图片

2.在创建Filebeat采集器中,设置采集器相关信息。

 第一步,选择输出目的:

  • 采集器名称:必填。自定义采集器的名称。

  • 安装版本:必选。支持6.8.21、7.10.2、7.14.0、7.17.1,安装版本需要和采集器输出的大版本相同。

  • 采集器输出:必选。采集的数据支持传送到腾讯云 Elasticsearch 集群与 Logstash 实例,请选择与需采集数据的 TKE 在同一 VPC 下的 ES 集群和 Logstash 实例。不支持输出至开源版 ES 集群。

  • 用户名密码:必填。若选择输出采集数据到开启用户登录认证的 ES 集群,需要填写用户名和密码,使得 Filebeat 有权限向 ES 集群中写入数据。用户名默认为 elastic,密码为集群创建时设置。

  • 启用 Monitoring:可选。勾选后生成监控 Filebeat 的相关指标。当采集器输出为 ES 集群时,Monitoring 默认使用和采集器输出相同的 ES 集群;当采集器输出为 Logstash 实例时,则需要在配置文件中额外添加用于存储监控数据的 ES 集群地址。

  • 启用 Kibana Dashboard:可选。勾选后生成默认的 Kibana Dashboard。腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第2张图片

第二步,配置采集来源:  

  • 所在私有网络VPC:默认使用上一步采集器输出选择的实例的VPC,且不可更改。

  • 待采集TKE集群ID:必选。需采集的TKE集群的ID,TKE集群需要是运行中状态且为标准集群。

  • 采集配置:可通过点击“添加”来横向增加更多采集配置,上限10个。

  • 采集配置名称:必填。

  • 命名空间:必选。第一个下拉可选择 包含/不包含。第二个下拉可选择命名空间,支持多选,不支持选择不包含全部命名空间。

  • Pod标签:选填。支持创建多个Pod标签,标签之间是逻辑与关系。

  • 容器名称:选填。填写的容器名称必须在采集目标集群及命名空间之下,为空时,Filebeat会采集命名空间下符合Pod标签的全部容器。

  • 写入的索引名称前缀:选填。写入的索引名称前缀将作为ES索引名称的一部分,例如替代filebeat-%{[index]}-%{+yyyy.MM.dd}中的index 。

  • 日志内容过滤:选填。根据关键字过滤日志,可填多个关键字,以逗号分隔。

  • 高级采集配置:选填。个性化设置解析方式、过滤等,一般采用默认配置。

  • 腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第3张图片

3.单击确定启用后,跳转到 Beats 采集器管理界面,可以查看 Filebeat 采集器运行状态,显示“正常”则表示采集器安装成功。

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第4张图片

通过Kibana对日志进行检索分析

在腾讯云ES控制台上配置好Filebeat后,就可以到Kibana对TKE容器日志进行检索分析了:登录Kibana,在首页左侧导航栏,通过Stack Management->Index Patterns路径进入索引模式设置界面,点击creat index pattern,将Index pattern name设为您配置采集设置时输入的写入的索引名称前缀,并根据指示完成后续的配置。

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第5张图片

Index Pattern创建完成后,我们可点击Kibana左侧导航栏Analytics下的Discover进入Discover页面,选择设置的Pattern,即可对日志进行检索分析:

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第6张图片

通过Kibana对Pod日志进行下钻分析

登录Kibana,点击Observability下的概览

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第7张图片

进入概览页面,我们可查看日志上报的速率等数据:

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第8张图片

点击Metrics下的Inventory,将显示的选项改为Kubernetes Pod,即可根据命名空间、服务类型等字段定位特定的资源:

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第9张图片

点击某个Pod,单击Kubernetes Pod 日志,进入日志查看页:

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第10张图片

对Pod日志进行下钻分析:

腾讯云ES:一站式配置,TKE容器日志采集与分析就是这么简单!_第11张图片

后续规划

当前腾讯云ES已支持对CVM以及TKE容器日志进行采集与分析,后续我们将推出数据接入服务,助力企业在提高使用效率的同时,降低维护成本,持续面向业务价值提供一站式的解决方案。

免费体验活动专区

Elasticsearch 新用户可享 2核4G,0元 体验 30 天!顺畅体验云上集群

你可能感兴趣的:(大数据,java,数据库,数据分析,python)