转换
转换(transformtion)是ETL解决方案中最主要的部分,它处理抽取、转换、加载各阶段各种对数据的操作。
转换包括一个或多个步骤(step),如读取文件、过滤输出行、数据清洗或将数据加载到数据库。
转换里的步骤通过跳(hop)来连接,跳定义了一个单向通道,允许数据从一个步骤向另一个步骤流动。
除步骤和跳,转换还包括了注释(note),注释是一个小的文本框,可以放在转换流程图的任何位置。注释的主要目的是使转换文档化。
步骤
步骤是转换里的基本组成部分,“表输入”和“文件文件输出”显示了两个步骤。
转换的跳
跳(hop)就是步骤之间带箭头的连线,跳定义了步骤之间的数据通路。
注意: 跳在转换里不能循环。因为在转换里每个步骤都依赖前一个步骤获取字段值。
并行
当转换启动后,所有步骤都同时启动,从它们的输入跳中读取数据,并把处理过的数据写到输出跳,直到输入跳里不再有数据,就路上步骤的运行。
转换里的步骤几乎是同时启动的,所以不可能判断出哪个步骤是第一个启动的步骤。
如果想要一个任务沿着指定的顺序插,那么就要使用“作业”了。
数据行
数据以数据行的形式沿着步骤移动。一个数据行是零到多个字段的集合,字段包括下面几种数据类型:
- String: 字符类型
- Number: 双精度浮点数
- Integer: 带符号长整型
- BigNumber: 任意精度数值
- Date: 带毫秒精度的日期时间值
- Boolean: 取值为true和false的布尔值
- Binary: 二进制字段可以包括图形、声音、视频及其他类型的二进制数据
数据转换
显式转换数据类型,如通过“字段选择”步骤中直接选择要转换的数据类型。
隐式转换数据类型,如将数值类型数据写入数据库中的varchar类型字段。
常见数据类型转换有:
- Date和String的转换
- Numberic和String的转换
- Boolean和String的转换
- String和Boolean的转换
- Integer和Date的转换
- Date和Integer的转换
作业
大多数ETL项目都需要完成各种各样的操作,而且这些操作要按照一定顺序完成。因为转换以并行方式执行,就需要一个可以串行执行的作业来处理这些操作。
一个作业包括一个或多个作业项,这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳(job hop)和每个作业项的执行结果来决定。
作业项
作业项是作业的基本构成部分。如同转换的步骤,作业项也可以使用图标的方式图形化展示 。
默认情况下,所有的作业项都是以串行方式执行的,只是在特殊的情况下,以并行方式执行。
因为作业顺序执行作业项,所以必须定义一个地点。有一个叫“开始”的作业项就定义了这个起点。一个作业只能定义一个开始作业项。
作业跳
作业的跳是作业项之间的连接线,它定义了作业的执行路径。
作业项的运行结果的判断如下:
-
无条件执行(黄色带锁连接线)
-
当运行结果为真是执行(绿色对钩号连接线)
-
当运行结果为假时执行(红色停止图标连接线)
多路径和回溯
回溯算法就是:假设扫行到了图里的一条路径的某个节点时,要依次扫行这个节点的所有子路径,直到没有再可以执行的子路径,就返回该节点的上一节点,再反复这个过程。
上图A、B、C三个作业项的执行顺序如下:
- 首先 “开始” 作业项搜索所有下一个节点作业项,找到了 “A” 各 “C”
- 执行 “A”
- 搜索 “A” 后面的作业项,发现了 “B”
- 执行 “B”
- 搜索 “B” 后面的作业项,没有找到任何作业项
- 回到 “A” ,也没有发现其他作业项
- 回到Start,发现另一个要执行的作业项 “C”
- 执行 “C”
- 搜索 “C” 后面的作业项,没有找到任何作业项
- 回到Start,没有找到任何作业项
- 作业结束
因为没有定义执行顺序,所以上面例子的执行顺序除了ABC,还可以有CAB。
并行执行
有时候需要将作业项并行执行。一个作业项可以并发的方式执行它后面的所有作业项。如下图:
注意:通过“Run Next Entries in Parallel” 设置
作业项结果
作业执行结果不仅决定了作业的执行路径,而且还向下一个作业项传递了一个结果对象。
结果对象包括了下面一些信息:
- 一组数据行
- 一组文件名
- 读、写、输入、输出、更新、删除、拒绝的行数和转换里的错误数
- 脚本作业项的退出状态
转换或作业的元数据
转换和作业是Kettle的核心组成部分。它们可以用XML格式来表示,它们的这些表示方式,都依赖下面的这些元数据:
- 名字
- 文件名
- 目录
- 描述
- 扩展描述
数据库连接
Kettle里的转换和作业使用数据库连接到关系型数据库。Kettle数据连接实际是数据库的描述,也就是建立实际连接需要的参数。实际连接只是在运行时才建立。
工具
Kettle里有不同工具,用于ETL的不同阶段。主要工具如下:
- Spoon:图形界面工具,快速设计和维护复杂的ETL工作流
- Kitchen:运行作业的命令行工具
- Pan:运行转换的命令行工具
- Carte:轻量级的(大概1MB)Web服务器,用来远程执行转换或作业。一个运行有Care进程的机器可以作为从服务器,从服务器是Kettle集群的一部分。
资源库
资源库主要用于开发人员在一起工作,开发人员之间的合作。目前有3种觉资源库:
数据库资源库:数据库资源库是把所有的ETL信息保存在关系型数据库中。
Pentaho资源库:Pentaho资源库是一个插件,在Kettle的企业版中有这个插件。
文件资源库:文件资源库是在一个文件目录下定义一个资源库。这里的文件目录包括:zip文件、Web服务、FTP服务等。
资源库特性: