日志服务之数据清洗与入湖

简介

本场景将提供日志服务SLS Project和对象存储OSS。通过本教程的操作，您可以使用日志服务接入NGINX模拟数据，通过数据加工对数据进行清洗并归档至OSS中进行存储。

云起实验室日志服务体验

（活动期完成有机会参与100%中奖）：https://developer.aliyun.com/...

背景知识

本场景主要涉及以下云产品和服务：
● 日志服务（SLS）
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。
● 对象存储OSS
阿里云对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%，服务设计可用性不低于99.99%。具有与平台无关的RESTful。

接入NGINX模拟数据

本步骤将指导您如何使用日志服务接入NGINX模拟数据。

1. 双击打开虚拟桌面的Firefox ESR浏览器。
2. 在RAM用户登录框中单击下一步，并复制粘贴页面左上角的子用户密码到用户密码输入框，单击登录。
3. 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问日志服务控制台。

https://sls.console.aliyun.com/

4. 在日志服务控制台下方的Project列表中，选择Project资源所在地域，然后单击Project名称。

说明 ：您可以在云产品资源列表中查看Project资源所在地域和Project名称。

5. 在日志存储页面左侧，单击日志库下的 图标。

6. 在创建Logstore对话框中，输入Logstore名称，打开WebTracking开关，然后单击确定。

参数说明：

• Logstore名称：输入target。
• WebTracking：打开WebTracking开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

7. 在创建成功对话框中，单击取消。

8. 在日志存储页面左侧，选择日志库>target>数据接入>模拟接入，然后单击 图标。

9. 在快速接入面板中，单击NGINX访问日志下的模拟。

10. 在模拟接入页面，单击开始导入。

11. 在模拟接入页面，等待大约一分钟，模拟数据生成后，单击开始使用。

返回如下页面，您可以看到生成的NGINX模拟数据。

创建数据加工

本步骤将指导您如何创建数据加工，将status字段不为200的请求日志存储到目标库中，并查看目标库日志。

1. 在日志存储页面左侧，单击日志库下的 图标。

2. 在创建Logstore对话框中，输入Logstore名称，打开WebTracking开关，然后单击确定。

说明 ：该Logstore用来status字段不为200的请求日志。

参数说明：

• Logstore名称：输入target-1。
• WebTracking：打开WebTracking开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

3. 在创建成功对话框中，单击取消。

4. 在日志存储页面左侧，单击target-1。

5. 在错误对话框中，单击确定。

6. 在target-1页签右上方，单击开启索引。

7. 在查询分析面板中，打开全文索引，单击确定。

8. 在查询分析设置对话框中，单击确认。

9. 在target-1页签左侧，单击target。

10. 在target页签，单击数据加工。

11. 在target数据加工页签，输入如下加工语句，单击保存数据加工。

e_drop(e_search("status:200"))

12. 在创建数据加工规则面板，输入规则名称，单击添加，然后配置存储目标，时间范围选择为某时间，单击确定。

参数说明：

• 规则名称：自定义规则名称，例如nginx-data-cleaning。
• 目标名称：存储目标的名称，输入target-1。
• 目标Region：选择您的Project资源所在地域。
• 目标Project：选择您的Project名称。
• 目标库：选择target-1。
• 时间范围：选择某时间开始。

13. 在创建结果对话框中，单击确认。

14. 在target页签左侧，单击target-1。

15. 在target-1页签右上方，单击查询/分析。

返回如下页面，您可以看到在目标库target-1中的日志，只有status字段非200的日志。

日志投递

本步骤将指导您如何将数据加工后的日志投递到对象存储OSS。

1. 在target-1页签页面左侧，选择日志库>target-1>数据处理>导出>OSS（对象存储）。

2. 在OSS投递管理页签，单击开启投递。

3. 在投递提示对话框中，单击直接投递。

4. 在OSS投递功能对话框中，参考如下配置，其他配置保持默认即可，单击确定。

参数说明：

• OSS投递名称：自定义OSS投递名称，例如test。
• OSS Bucket：输入Bucket Name。您可以在云产品资源列表中查看到Bucket Name。

5. 在投递提示对话框中，单击确认。

6. 在OSS投递管理器页签，稍等三分钟并刷新页面，您可以看到如下图页面，表示您已成功将数据加工后的日志投递到对象存储OSS。

7. 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问对象存储OSS控制台。

https://oss.console.aliyun.com/overview

8. 在左侧导航栏中，单击Bucket列表。

9. 在Bucket列表页面，找到您的Bucket名称，单击Bucket名称。

返回如下页面，您可以看到您的Bucket中有一个文件夹，文件夹中就存储着数据加工后的日志。