一文带你快速上手云日志服务

前言

随着人工智能、大数据、物联网以及云计算时代的到来,在日志数据量持续爆增、日志数据日益多样化的今天,传统日志服务器的管理模式已经追不上日志数据的增速,且企业对日志管理系统的要求越来越高,很多企业都想建设一个统一的日志平台来解决这个问题,面对当前的挑战和机遇,众多云服务厂商纷纷推出了云日志服务,以此来满足企业的需求。

什么是云日志服务云

日志服务是在云上提供的一站式日志采集、日志搜索、海量存储、结构化分析、丰富的仪表盘、日志告警和转储等功能,可以满足企业的应用运维、等保合规和运营分析多种场景下的应用。

云日志服务的主要功能

各大主流云服务厂商的云日志服务功能大同小异,主要体现在以下几个方面。

日志采集

通过云日志服务可以实现多种数据源端的日志采集,包括主机(Linux系统和Windows系统均可)日志、数据库日志、容器日志、云服务日志、通过API和SDK日志采集、移动端、浏览器、IOT端侧日志。除此之外,还可以通过开源工具接入,实现日志采集。

日志检索

云日志服务可以提供关键词查询,可以对实现比较运算符、括号、in范围查询、and/or/not等逻辑的精确匹配,也支持*和?的模糊查询。还支持日志上下文查看、快速分析等功能。

日志结构化分析

表格、柱状图、饼图、折线图和数字图等基础图标是必备的功能,还有SQL的快速分析,可以统计字段不同value的取值占比,数值类支持max、min、avg和sum。丰富的仪表盘展示功能可以更好的助力日志管理。

监控和告警

当有了日志数据,并进行了分析之后,紧接着就是需要将结果信息分发出去,及时采取合理的应对策略,这就是监控和告警要实现的功能。云日志服务可以提供日志资源统计,包括但不限于流量、存储和索引指标,关键词告警,SQL告警,设置短信、邮件、钉钉、企业微信、电话等多种途径的告警通知,告警通知的内容可以是系统设定也可以支持自定义,对告警管理提供分组、抑制和静默方式的个性化设置,降低告警带来的噪声。

日志转储

海量的日志数据可以转储到其他的存储设备,比如对象存储或者实时转储到KAFKA。

云日志服务应用实践

下面我们以华为云的云日志服务 LTS 为例,通过一个实践来了解如何将Linux主机接入云日志进行管理,带你快速上手云日志服务。

实践过程一共分为四步,如下图所示:

1、云日志服务中创建日志组和日志流

首先,我们创建一个日志组,日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间。进入云日志服务管理控制台 ,“日志管理”页面中,单击“创建日志组”。日志组名字根据规则自定义,日志保存时间默认是7天。

然后,在创建的日志组中创建日志流。日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。在“日志管理”页面的“日志组列表”可以看看刚刚创建成功的日志组,点击下面的“创建日志流”,完成日志流创建。

2、主机安装日志采集器ICAgent

ICAgent是云日志服务的日志采集工具,运行在需要采集日志的云主机中。首次使用云日志服务采集主机的日志时,需要安装ICAgent。

首先,在云日志服务管理控制台 ,“主机管理”页面中,单击“安装ICAgent”。

然后,在弹出的对话框中进行安装基本配置

• 安装系统:Linux(本次我们以Linux主机为例)

• 主机类型:华为云主机(此次试验中使用的为华为的 ECS 主机 ,可以点击链接了解如何使用。如果是非华为云主机,遵循响应的提示进行安装即可)

• 安装方式:获取AK/SK凭证

选定后,下面后详细的步骤指引,按照提示操作即可,此处不再赘述。

3、将主机接入云日志服务

当我们在主机上安装好采集器之后,就可以通过云日志控制台将主机接入到刚才创建的日志组中进行管理。

首先,在云日志服务管理控制台 ,“日志接入”页面中,选择“云主机ECS-文本日志”。

进入到接入日志的配置引导页面,如下图所示,根据引导完成配置即可。

其中的步骤3:采集配置是主机日志采集的具体信息,有疑问可以参考服务的采集配置 帮助文档进行设置。

4、查看主机日志

完成了主机的日志采集配置之后,就可以到云日志服务的管理控制台查看主机的相关日志,可以查看原始日志,也可以查看实时日志,还可以进行日志搜索以及各种可视化操作。

首先,在云日志服务管理控制台 ,“日志管理”页面中,选择刚刚创建好的日志组的日志流的名称,进入到日志流详情页面即可进行各种操作。

至此,我们就简单的完成了一个Linux主机接入云日志服务的实践过程,如果想体验更多的内容,请点击《 LTS 基础入门实践》 进行沙箱实验的体验,里面有详细的手册指导和环境配置指引。

你可能感兴趣的:(云计算日志管理)