最全Kettle详解

文章目录

      • 第一章 Kettle概述
        • 1.1 Kettle发展历程
        • 1.2 Kettle简介
        • 1.3 Kettle相关俗语
        • 1.4 Kettle设计与组成
        • 1.5 Kettle功能模块
        • 1.6 Kettle的执行
        • Transformation(转换)
        • 1.7 Kettle商业和社区版区别
        • 1.8 数据集成与ETL
        • 1.9 ETL工具比较

第一章 Kettle概述

1.1 Kettle发展历程

Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration-Pentaho数据集成,Kettle 本意是水壶的意思,表达了数据流的含义。

在 2003 年,Kettle 的主作者 Matt就开始了这个项目,在 PDI 的代码里就可以看到最早的日期大概在2003年4月。 从版本2.2开始, Kettle 项目进入了开源领域,并遵守 LGPL 协议。

在 2006年 ,Pentaho公司收购了Kettle项目,原Kettle项目发起人Matt Casters加入了Pentaho团队,成为Pentaho套件数据集成架构师。从此,Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分,Kettle 正式被命名为PDI,加入Pentaho 后Kettle 的发展越来越快了,并有越来越多的人开始关注它了。

在2015年,Pentaho公司被Hitachi Data Systems收购。

在2017年,Hitachi Data Systems更名为Hitachi Vantara,官网地址为:https://www.hitachivantara.com

历史主要版本记录如下:

时间 主版本号 主要变化
2006年4月 Ketlle 2.2 Kettle从该版本开始开源
2006年6月 PDI 2.3 Kettle被Pentaho收购后第一个版本
2007年11月 PDI 3.0 产品整体重新设计,性能提升
2009年4月 PDI 3.2 加入新功能、可视化与性能优化
2010年6月 PDI 4.0 加入企业级功能,例如:版本管理
2013年11月 PDI 5.0 优化大数据支持、转换步骤负载均衡、作业事务性支持、作业断点重启
2015年12月 PDI 6.0 Pentaho Data Service,元数据注入(Metadata Injection),数据血缘追踪
2016年11月 PDI 7.0 数据管道可视化、Hadoop安全性支持、Spark支持优化、资源库功能完善、元数据注入功能优化
2017年4月 PDI 7.1 任务下压至Spark集群运行(Adaptive Execution Layer)
2017年11月 PDI 8.0 实时数据对接、AEL优化、大数据格式支持优化
2018年6月 PDI 8.3 数据源支持优化:Snowflake, RedShift, Kinesis, HCP等
2020年1月 PDI 9.0 多Hadoop集群支持、大型机(Mainframe)数据对接支持、S3支持优化
2020年10月 PDI 9.1 Google Dataproc支持、数据目录Lumada Data Catalog对接
2022年5月 PDI 9.3 支持多种云
1.2 Kettle简介

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。

Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。

Kettle中有两种脚本文件,transformationjob,其中transformation完成针对数据的基础转换,job则完成整个工作流的控制。

1.3 Kettle相关俗语
  • Job:一个作业,由不同逻辑功能的entry组件构成,数据从一个entry组件传递到另一个entry组件,并在entry组件中进行相应的处理。
  • Transformation:完成针对数据的基础转换,即一个数据转换过程。
  • Entry:实体,即job型组件。用来完成特定功能应用,是job的组成单元、执行单元。
  • Step:步骤,是Transformation的功能单元,用来完成整个转换过程的一个特定步骤。
  • Hop:工作流或转换过程的流向指示,从一个组件指向另一个组件,在kettle源工程中有三种hop,无条件流向、判断为真时流向、判断为假时流向。
  • 数据类型:一行数据是零到多个类型的数据组成,具体Ketlle支持的数据类型如下:
    ①String字符型
    ②Number双精度浮点数
    ③Integer带符号整型64
    ④BigNumber任意精度数据
    ⑤Date带毫秒精度的日期时间值
    ⑥Boolean布尔值true false
    ⑦Binary二进制数据
1.4 Kettle设计与组成

PDI平台是整个Kettle系统的核心,包括插件管理引擎、元数据管理引擎、数据集成引擎和UI模块。

最全Kettle详解_第1张图片

  • 插件管理引擎

    Kettle是众多“可供插入的地方”(扩展点)和“可以插入的东西”(扩展)共同组成的集合体。在我们的生活中,电源接线板就是一种“扩展点”,很多“扩展”(也就是电线插头)可以插在它上面。
    插件管理引擎主要负责插件的注册,在Kettle中不管是以后的扩展还是系统集成的功能,本质上来讲都是插件,管理方式和运行机制是一致的。系统集成的功能点也均实现了对应的扩展接口,只是在插接的说明上略有不同。
    Kettle的扩展点包括step插件、job entry插件、Database插件、Partioner插件和debugging插件等。

  • 元数据管理引擎

    元数据管理引擎管理ktr、kjb或者元数据库,插件通过该引擎获取基本信息,主要包括TransMeta、JobMeta和StepMeta三个类。

    • TransMeta类,定义了一个转换(对应一个.ktr文件),提供了保存和加载该文件的方法;
    • JobMeta类,同样对应于一个工作(对应一个.kjb文件),提供保存和加载方法;
    • StepMeta类,保存的是Step的一些公共信息的类,每个类的具体的元数据将保存在显示了StepMetaInterface的类里面。
  • 数据集成引擎

    数据集成引擎包括Step引擎、Job引擎和数据库访问引擎三大部分,主要负责调用插件,并返回相应信息。

  • UI模块

    UI显示Spoon这个核心组件的界面,通过xul实现菜单栏、工具栏的定制化,显示插件界面接口元素,其中的TransGraph类和JobGraph类是用于显示转换和Job的类。

1.5 Kettle功能模块

Kettle的功能模块很多,其核心主要有:Pan、Spoon、Kitchen和Chef等。

最全Kettle详解_第2张图片

  • Spoon—转换过程设计器

    GUI工作,用来设计数据转换过程,创建的转换可以由Pan来执行,也可以被Chef所包含,作为作业中的一个作业项。

    • Input-Steps:输入步骤
      • Text file input:文本文件输入
        可以支持多文件合并,有不少参数,基本一看参数名就能明白其意图。
      • Table input:数据表输入
        实际上是视图方式输入,因为输入的是sql语句。当然,需要指定数据源(数据源的定制方式在后面讲一下)
      • Get system info:取系统信息
        就是取一些固定的系统环境值,如本月最后一天的时间,本机的IP地址之类。
      • Generate Rows:生成多行。
        这个需要匹配使用,主要用于生成多行的数据输入,比如配合Add sequence可以生成一个指定序号的数据列。
      • XBase Input
      • Excel Input
      • XML Input
    • Output-Steps: 输出步聚
      • Text file output:文本文件输出。这个用来作测试蛮好,呵呵。很方便的看到转换的输出。
      • Table output:输出到目的表。
      • Insert/Update:目的表和输入数据行进行比较,然后有选择的执行增加,更新操作。
      • Update:同上,只是不支持增加操作。
      • XML Output:XML输出。
    • Look-up:查找操作
      • Data Base
      • Stream
      • Procedure
      • Database join
    • Transform 转换
      • Select values
        对输入的行记录数据的字段进行更改 (更改数据类型,更改字段名或删除) 数据类型变更时,数据的转换有固定规则,可简单定制参数。可用来进行数据表的改装。
      • Filter rows
        对输入的行记录进行指定复杂条件的过滤。用途可扩充sql语句现有的过滤功能。但现有提供逻辑功能超出标准sql的不多。
    • Sort rows
      对指定的列以升序或降序排序,当排序的行数超过5000时需要临时表。
    • Add sequence
      为数据流增加一个序列,这个配合其它Step(Generate rows, rows join),可以生成序列表,如日期维度表(年、月、日)。
    • Dummy
      不做任何处理,主要用来作为分支节点。
    • Join Rows
      对所有输入流做笛卡儿乘积。
    • Aggregate
      聚合,分组处理
    • Group by
      分组,用途可扩充sql语句现有的分组,聚合函数。但我想可能会有其它方式的sql语句能实现。
    • Java Script value
      使用mozilla的rhino作为脚本语言,并提供了很多函数,用户可以在脚本中使用这些函数。
    • Row Normaliser
      该步骤可以从透视表中还原数据到事实表,通过指定维度字段及其分类值,度量字段,最终还原出事实表数据。
    • Unique rows
      去掉输入流中的重复行,在使用该节点前要先排序,否则只能删除连续的重复行。
    • Calculator
      提供了一组函数对列值进行运算,用该方式比用户自定义JAVA SCRIPT脚本速度更快。
    • Merge Rows
      用于比较两组输入数据,一般用于更新后的数据重新导入到数据仓库中。
    • Add constants:
      增加常量值。
    • Row denormaliser
      同Normaliser过程相反。
    • Row flattener
      表扁平化处理,指定需处理的字段和扃平化后的新字段,将其它字段做为组合Key进行扃平化处理。
      除了上述基本节点类型外还定义了扩展节点类型
    • SPLIT FIELDS:按指定分隔符拆分字段;
    • EXECUTE SQL SCRIPT:执行SQL语句;
    • CUBE INPUT:CUBE输入;
    • CUBE OUTPUT:CUBE输出。
  • Pan—转换的执行工具

    命令行执行方式,可以执行由Spoon生成的转换任务,不支持调度。

  • Chef—工作(job)设计器

    这是一个GUI工具,操作方式主要通过拖拽。
    何谓工作?多个作业项,按特定的工作流串联起来,形成一项工作。正如:我的工作是软件开发。我的作业项是:设计、编码、测试!先设计,如果成功,则编码,否则继续设计,编码完成则开始设计,周而复始,作业完成。

    • Chef中的作业项

      • 转换:指定更细的转换任务,通过Spoon生成,通过Field来输入参数;
      • SQL:sql语句执行;
      • FTP:下载ftp文件;
      • 邮件:发送邮件;
      • 检查表是否存在;
      • 检查文件是否存在;
      • 执行shell脚本:如dos命令。
      • 批处理:(注意:windows批处理不能有输出到控制台)。
      • Job包:作为嵌套作业使用。
      • JavaScript执行:如果有自已的Script引擎,可以很方便的替换成自定义Script,来扩充其功能;
      • SFTP:安全的Ftp协议传输;
      • HTTP方式的上传/下载。
    • 工作流

      工作流是作业项的连接方式,分为三种:无条件,成功,失败。

      为了方便工作流使用,KETTLE提供了几个辅助结点单元(也可将其作为简单的作业项):

      • Start单元:任务必须由此开始。设计作业时,以此为起点。
      • OK单元:可以编制做为中间任务单元,且进行脚本编制,用来控制流程。
      • ERROR单元:用途同上。
      • DUMMY单元:什么都不做,主要是用来支持多分支的情况。
    • 存储方式
      支持XML存储,或存储到指定数据库中。
      一些默认的配置(如数据库存储位置……),在系统的用户目录下,单独建立了一个.Kettle目录,用来保存用户的这些设置。

    • LogView
      可查看执行日志。

  • Kitchen—作业执行器

    是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,参数如下:

    • rep : Repository name 任务包所在存储名

    • user : Repository username 执行人

    • pass : Repository password 执行人密码

    • job : The name of the job to launch 任务包名称

    • dir : The directory (don’t forget the leading / or /)

    • file : The filename (Job XML) to launch

    • level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing) 指定日志级别

    • log : The logging file to write to 指定日志文件

    • listdir : List the directories in the repository 列出指定存储中的目录结构。

    • listjobs : List the jobs in the specified directory 列出指定目录下的所有任务

    • listrep : List the defined repositories 列出所有的存储

    • norep : Don’t log into the repository 不写日志

  • 其它
    Connection:可以配置多个数据源,在Job或是Trans中使用,这意味着可以实现跨数据库的任务。支持大多数市面上流行的数据库。

1.6 Kettle的执行

Kettle的执行分为两个层次:Transformation和Job。两个层次的最主要区别在于数据传递和运行方式。

最全Kettle详解_第3张图片

  • Transformation(转换)

    Transformation(转换)是由一系列被称之为step(步骤)的逻辑工作的网络。转换本质上是数据流。

    下图是一个转换的例子,这个转换从数据输入中读取数据,然后数据过滤,然后数据排序和脏数据记录,最后将数据加载到数据库。本质上,转换是一组图形化的数据转换配置的逻辑结构。

    最全Kettle详解_第4张图片

    上图中,蓝色的地方就是Setp(步骤),橙色箭头就是Hop。它们也是转换的两个相关的主要组成部分:step(步骤)和hops(节点连接)

    • 转换特征

      • 转换文件的扩展名是.ktr。
      • 每个转换步骤都是ETL数据流里面的一个任务。
      • 转换步骤包括输入、处理和输出。
      • 输入步骤从外部数据源获取数据,例如文件或者数据库;
      • 处理步骤处理数据流,字段计算,流处理等,例如整合或者过滤。
      • 输出步骤将数据写回到存储系统里面,例如文件或者数据库。
    • Steps(步骤)
      Steps(步骤)是转换的建筑模块,比如一个文本文件输入或者一个表输出就是一个步骤。每个步骤用于完成某种特定的功能,通过配置一系列的步骤就可以完成你所需要完成的任务。

    • Hops(节点连接)
      Hops(节点连接)是数据的通道,用于连接两个步骤,使得元数据从一个步骤传递到另一个步骤。节点连接决定了贯穿在步骤之间的数据流,步骤之间的顺序不是转换执行的顺序。当执行一个转换时,每个步骤都以自己的线程启动,并不断的接受和推送数据。

    注意

    1. 所有的步骤是同步开启和运行的,所以步骤的初始化的顺序是不可知的。因为我们不能在第一个步骤中设置一个变量,然后在接下来的步骤中使用它。
    2. 在一个转换中,一个步骤可以有多个连接,数据流可以从一个步骤流到多个步骤。在Spoon中,hops就想是箭,它不仅允许数据从一个步骤流向另一个步骤,也决定了数据流的方向和所经步骤。如果一个步骤的数据输出到了多个步骤,那么数据既可以是复制的,也可以是分发的。
  • Jobs(工作)

    Jobs(工作)是基于工作流模型的,协调数据源、执行过程和相关依赖性的ETL活动流程。作业包括一个或多个作业项,作业项以某种顺序来执行。
    Jobs(工作)将功能性和实体过程聚合在了一起,由工作节点连接、工作实体和工作设置组成,工作文件的扩展名是.kjb。
    下图是一个工作的例子。

    最全Kettle详解_第5张图片

    • 作业项。作业项是作业的基本构成部分。如同转换的步骤,作业项也可以使用图标的方式图形化展示。作业项的注意点。新步骤的名字应该是唯一的,但是作业项可以有影子拷贝。这样可以把一个作业项放在不同的位置。这些影子拷贝里的信息都是相同的,编辑一份拷贝,其他拷贝也会随之修改。在作业项之间可以传递一个结果对象(result object)。这个结果对象里包含了数据行,它们不是以流的方式来传递的。而是等一个作业项执行完了,再传递给下一个作业项。默认情况下,所有的作业项都是以串行方式执行的,只是在特殊情况下,以并行方式执行。

    • 作业跳:作业之间的连线称为作业跳。作业里每个作业项的不同运行结果决定了作业的不同执行路径。对作业项的运行结果判断如下:

      1. 无条件执行:不论上一个作业项执行成功与否,下一个作业项都会执行。标识为,黑色的连线,上面有一个锁的图标

        image-20230908144810838

      2. 当运行结果为真时执行:标识为,绿色的连线,上面有一个钩号

        image-20230908144831534

      3. 当运行结果为假时执行:标识为,红色的连线,上面有一个红色的停止图标

        image-20230908144848030

1.7 Kettle商业和社区版区别

Pentaho Data Integration分为商业版与开源版。在中国,一般人仍习惯把Pentaho Data Integration的开源版称为Kettle。

最全Kettle详解_第6张图片最全Kettle详解_第7张图片

1.8 数据集成与ETL

​ 数据集成是指将来自不同来源、不同格式和不同结构的数据整合到一个统一的数据存储库中,以实现数据的一致性、可访问性和可用性。它的目标是消除数据孤岛,使企业能够更好地利用数据进行分析、决策和业务创新。

​ ETL(Extract-Transform-Load的缩写,即**抽取(Extract)、转换(Transform)、装载(Load)**的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我要学习的ETL工具是Kettle!

​ ETL是数据集成常用方法之一,当然还有很多集成平台服务方法做数据集成等。

1.9 ETL工具比较

市面上常用的ETL工具有很多,比如Sqoop,DataX, Kettle, Talend 等,作为一个大数据工程师,掌握其中的两三种即可,原理都很相似,其他的学习成本就相对很低。

比较项/ETL产品 DataPipeline kettle Oracle Goldengate informatica talend DataX Sqoop 备注
使用场景 主要用于各类数据融合、数据交换场景,专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交换平台 面向数据仓库建模传统ETL工具 主要用于数据备份、容灾 面向数据仓库建模传统ETL工具 面向数据仓库建模传统ETL工具 面向数据仓库建模传统ETL工具 面向数据仓库的ETL建模工具 Sqoop已停止更新
使用方式 全流程图形化界面,应用端采用B/S架构,Cloud Native为云而生,所有操作在浏览器内就可以完成,不需要额外的开发和生产发布 C/S客户端模式,开发和生产环境需要独立部署,任务的编写、调试、修改都在本地,需要发布到生产环境,线上生产环境没有界面,需要通过日志来调试、debug,效率低,费时费力 没有图形化的界面,操作皆为命令行方式,可配置能力差 C/S客户端模式,开发和生产环境需要独立部署,任务的编写、调试、修改都在本地,需要发布到生产环境;学习成本较高,一般需要受过专业培训的工程师才能使用; C/S客户端模式,开发和生产环境需要独立部署,任务的编写、调试、修改都在本地,需要发布到生产环境; DataX是以Json格式脚本的方式执行任务的,其中子项目DataX-Web基于浏览器开发、上线、调度和运维。 Sqoop基于命令行方式执行,本身没有相关BS或CS的架构,需要依赖别的来调度,几乎仅用于数据库。
底层架构 分布式集群高可用架构,可以水平扩展到多节点支持超大数据量,架构容错性高,可以自动调节任务在节点之间分配,适用于大数据场景 主从结构非高可用,扩展性差,架构容错性低,不适用大数据场景 可做集群部署,规避单点故障,依赖于外部环境,如Oracle RAC等 schema mapping非自动;可复制性比较差;更新换代不是很强 支持分布式部署 支持单机部署和集群部署两种方式,底层是多线程 支持单机或类集群部署,底层依赖MapReduce执行
功能 CDC机制基于日志、基于时间戳和自增序列等多种方式可选 基于时间戳、触发器等 主要是基于日志 基于日志、基于时间戳和自增序列等多种方式可选 基于触发器、基于时间戳和自增序列等多种方式可选 离线批处理 离线批处理
对数据库的影响 基于日志的采集方式对数据库无侵入性 对数据库表结构有要求,存在一定侵入性 源端数据库需要预留额外的缓存空间 基于日志的采集方式对数据库无侵入性 有侵入性 通过sql select 采集数据,对数据源没有侵入性 通过sql select 采集数据,对数据源没有侵入性

你可能感兴趣的:(ETL,数据库,kettle,kettle概述,kettle系统架构,kettle执行流程,kettle发展历程)