ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件

ETL的三大组件

一般来说，ETL分为3大核心组件：

• 输入 - E - extract
• 转换 - T - transform
• 输出 - L - load

输入

输入即ETL工作的源头。

转换

转换一般为ETL的核心，也就是我们从输入读取数据后，经过怎么样的操作，让数据变成我们想要的样子后，在输出。

输出

输出好理解，就是数据处理完毕后，写入到哪里。

根据项目架构图：

我们输入源部分已经准备完成。

现在来尝试构建ETL工具-Glue

Glue 的 执行原理

我们知道，ETL的过程分为：

• 抽取（Input）
• 转换
• 加载（Output）

Glue也是基于这三种过程设计了3种实现，来帮助完成ETL工作

其中，抽取（Input）和加载（Output）被设计为全程都有元数据管理。

如下图：

我们可以看到，Glue有一个元数据目录的组件，这个组件记录一系列元数据。

输入、输出

我们可以将：

• 输入
• 输出

两者的数据结构定义在元数据目录里面，并指明其存储路径。

这里有点像HIVE的外部表的概念。

数据和元数据（Schema）是分离的。

Scheam是在另外的地方（元数据目录）里面单独定义的，并且Schema指向数据具体的路径。

那么，当我们执行ETL任务的抽取和加载（Input、Output）的时候，实际上就是对：

• 元数据目录里的Schema执行查询（Input），然后根据元数据的定义，从数据文件中（S3、RDS）中抽取数据
• 元数据目录里的Schema执行插入、更新（Output），根据元数据的定义，这些操作被真实的作用于了数据之上（S3、RDS）

转换

那么，针对输入和输出，Glue设计了一套元数据理论来统一管理，那针对转换呢？

Glue 在转换这一块提供了Python、Scala两种编程语言的支持。

并且，Glue可以实现：

• 自动构建代码，基于图形化操作完成输入到输出的数据流转（仅做字段映射、改格式等，无复杂转换任务）

• 自动构建的代码支持修改，可以任意添加转换任务在代码内。

• 支持Spark任务，自动构建的代码可以自动完成Spark相关环境的封装

• [重点]自动构建Spark集群，为ETL JOB提供算力

  Glue可以为我们自动构建Spark集群，然后将ETL JOB提交到Spark集群中运行，运行结束后，自动删除Spark集群。

  全程无需人工干预，我们甚至无法感知这一操作。