Logtail从入门到精通(二):开启日志采集之旅

Logtail相关概念

为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。

概念介绍

项目: 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。您可以通过项目来管理某一个应用的所有日志及相关的日志源。它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是用户访问日志服务资源的入口。

日志库: 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。

Logtail客户端: Logtail是一款执行日志收集工作的Agent,一般安装在需要收集日志的服务器上,作为独立软件运行。

机器组: 一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。

采集配置: 是Logtail收集日志的策略集合,采集配置一般包括需要采集的数据源、解析方式、过滤方式等参数,所有采集配置均在控制台进行管理。

各概念间关系

Logtail从入门到精通(二):开启日志采集之旅_第1张图片

日志库直接负责日志存储,所有Logtail采集的数据最终都会存储到日志库中。

日志库由项目进行管理,项目和日志库的关系类似于数据库和表之间的关系。

一个日志库中可包含多个不同的采集配置,日志库下的采集配置默认将数据采集到该日志库。

采集配置并不直接应用于Logtail客户端,而是应用于中间层的机器组,便于大规模集群和应用的灵活管理。

一个Logtail可属于多个机器组,一个机器组可包含多个Logtail,实现Logtail与机器组的解耦。

一个采集配置可应用到多个机器组,一个机器组可关联多个采集配置,实现机器组与采集配置的解耦。

安装配置流程

Logtail从入门到精通(二):开启日志采集之旅_第2张图片

Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。

日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。

安装Logtail

ECS安装

购买一台ECS

Logtail从入门到精通(二):开启日志采集之旅_第3张图片

2、根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南)

例如华东1的经典网络,使用wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou

3、使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功

Logtail从入门到精通(二):开启日志采集之旅_第4张图片

自建主机安装

选择任意公网Logtail安装脚本

例如选择华东1公网安装,使用wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet

使用/etc/init.d/ilogtaild status检查Logtail运行状态,如输出ilogtail is running表示安装成功

配置账号标识文件

配置

创建项目和日志库

在阿里云官网产品中选择日志服务或直接点击进入日志服务控制台,若您当前没有开通,会提示您开通日志服务,点击开通。

点击创建Project按钮,地域(Region)中择Logtail安装时所选的地域,例如选择华东1(杭州)。

Logtail从入门到精通(二):开启日志采集之旅_第5张图片
Logtail从入门到精通(二):开启日志采集之旅_第6张图片

Project创建成功后会提示创建Logstore,点击创建;这里我们输入Logstore名称,其他参数无需修改,点击确认。

Logtail从入门到精通(二):开启日志采集之旅_第7张图片

创建采集配置

Logstore创建完毕后,会提示进行数据接入。如下图所示,可通过三个入口创建采集配置:

Logtail从入门到精通(二):开启日志采集之旅_第8张图片

在弹出的数据接入页面中,我们选择自定义数据中的文本文件接入。

Logtail从入门到精通(二):开启日志采集之旅_第9张图片

在采集配置中我们选择极简模式,日志路径中的文件夹和文件名分别输入/var/log和message,点击下一步。

Logtail从入门到精通(二):开启日志采集之旅_第10张图片

创建机器组并应用

配置页面点击下一步后,会提示您选择机器组,这里我们点击创建机器组。

Logtail从入门到精通(二):开启日志采集之旅_第11张图片

机器组配置页面中选择IP地址类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json查看)

Logtail从入门到精通(二):开启日志采集之旅_第12张图片

保存机器组后,勾选该机器组并点击应用到机器组。后续设置无需关心,直接点击下一步。

查看日志

此时采集配置已经创建完毕,您可以尝试退出重新登录主机或输入命令echo "test message" >> /var/log/message,这时本地/var/log/message文件会有新的日志产生,Logtail就会采集到这些数据了。

点击日志库页面的预览或查询链接,即可看到Logtail采集上来的日志了。

Logtail从入门到精通(二):开启日志采集之旅_第13张图片
Logtail从入门到精通(二):开启日志采集之旅_第14张图片


Logtail从入门到精通(二):开启日志采集之旅_第15张图片

详情请阅读原文

你可能感兴趣的:(Logtail从入门到精通(二):开启日志采集之旅)