【Azure Data Platform】ETL工具(1)——Azure Data Factory简介

本文属于【Azure Data Platform】系列。

由于工作需要，把日常学习实践记录成系列文章，希望对有需要的读者有所帮助。

关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT等）及分析。本系列文章把精力集中在Azure的ETL工具Azure Data Factory（ADF）中。

前言

作为一个数据平台解决方案，数据收集是其中一个必要的部分。 在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）：

1. 是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具。如何选择需要多方考虑，特别是企业既定的策略。
2. 时效性：传统ETL工具通常都是T+1，延时比较严重，对于当今的环境而言，有点不太适合了。不过具体还是需要根据项目而定。
3. 费用：当然，免费的工具就不建议商用了。

ADF简介

根据企业的策略，本人所属项目以ADF为ETL工具，那么接下来的系列文章将会以它为主进行介绍和演示。那么我们首先要搞清楚ADF这个ETL工具能做什么？

官方的介绍就不贴上来了，这里抽取其最重要的亮点：在本地和云环境中复制和传输数据，这是很多混合云环境在数据同步过程中的痛点之一。

SQL Server 用户应该听过SSIS（SQL Server Integration Services）， ADF并不是云版本的SSIS， 它并没有非常强地绑定到SQL Server的特性中，而是支持更加广泛的数据传输。ADF虽然可以在云上执行SSIS包，但是这只是利用ADF的可伸缩性和SSIS的高级ETL功能而已。

ADF与其他ETL工具的不同点

基于下面几个点，在使用Azure平台时，ADF是相对优秀的候选ETL工具之一：

• 可以运行SSIS 包，这对本地环境已经成熟地使用SSIS的项目而言，可以减少迁移成本。
• 基于负载进行自动缩放，并且完全由PaaS产品托管。
• 运行间隔可以缩小到每分钟。
• 通过一个网关（gateway）无缝连接本地环境和Azure云平台。
• 有能力处理大规模数据。
• 可以与其他计算服务入HDI连接和协同处理真正的大数据。

当然，如果仅仅是一个普通的ETL工具的话，在市场上是很难跟其他专业的ETL厂商竞争的。所以ADF必然还有一些其他优势。除了对主流数据源的支持，可自定义代码逻辑，可监控等常见功能之外，ADF还集成了Azure DevOps和GitHub的CI/CD功能。
用微软官方的说法，ADF就是简化了混合数据集成： Azure Data Factory

下面来简单介绍一下ADF的组件，内容主要来自于ADF文档：

• Pipeline：管道，其功能主要是以集合的形式封装功能（任务）。并且把参数值传递到下一个任务中。
• Mapping Data Flow：映射数据流，可视化传输逻辑（ETL中的T）。运行在完全托管的Spark集群上，并通过横向扩展的形式满足负载需求。
• Activity：活动，管道中的单一执行步骤。ADF目前支持三种类型的活动：数据移动活动、数据转换活动和控制活动。
• Dataset：数据集，管道输出输入中涉及的数据源。
• Linked Service：链接服务，类似于连接字符串，连接数据与计算资源（比如HDI）。
• Trigger：触发器，定义管道何时会被执行的处理单元。
• Control flow：控制流，控制管道的业务流程，设置分支，循环等。

更多的介绍将在后续演示和使用中再深入提供。下面先进行环境准备。

实操演示

打开Azure Portal, 搜索服务“数据工厂”或者英文版的“Data Factory”，

“基本”选项页：填写必要信息

这里建议选择V2，因为V1将会被弃用。

“Git配置”选项页：这一步暂不需要，所以选择稍后配置 Git：

“网络”选项页：如果还没搞清楚选项的用途，那就保留默认选项点击下一步：

“高级”选项页，作为入门，不选择密钥加密：

“标记”比较适合企业级应用中大量资源的管理，这里也保留默认：

这里注意下方的“下载自动化模板”，如果在企业中，使用定义好的模板，可以节省配置时间和人工操作所带来的遗漏风险。

在点击“创建”按钮之后，大概1分钟左右就部署好了：

现在我们有了一个ADF服务。下一篇将会演示一下最简单的ADF使用。
【Azure Data Platform】ETL工具(2)——Azure Data Factory “复制数据”工具（云中复制）