kettle(Pentaho Data Integration)-ETL及PDI概念介绍

什么是ETL
抽取(Extract)： ⼀般抽取过程需要连接到不同的数据源，以便为随后的步骤提供数据。这⼀部 分看上去简单⽽琐碎，实际上它是 ETL 解决⽅案的成功实施的⼀个主要障碍。
转换(Transform)： 任何对数据的处理过程都是转换。这些处理过程通常包括（但不限于）下⾯ ⼀些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派⽣值和聚集值
加载(Load)： 将数据加载到⽬标系统的所有操作。

主流ETL工具
Kettle(PDI)
Informatica PowerCenter
IBM Datastage
SSIS
Talend

Kettle也称为PDI
Kettle 的 Spoon 设计器⽤来设计转换（ Transformation）和 作业（ Job）。 转换主要是针对数据的各种处理，⼀个转换⾥可以包含多个步骤（ Step） 。 作业是处理流程，⼀个作业⾥包括多个作业项（ Job Entry），⼀个作 业项代表了⼀项⼯作，转换也是⼀个作业项

Transformation -Step

Job为处理流程

Job 中的组件称之为 Job Entry

Job-JobEntry

PDI介绍-界面

1为菜单栏
2为导航栏
3为操作区
4右上Connect为连接存储库

PDI介绍-搜索
可以通过搜索框搜索组件，最好是将PDI切换成英文，中文会有很多组件找不到。

修改方式：点击菜单栏Tools–>Options,在弹出窗口选择Look&Feel,选Preferred Language为English


PDI介绍-存储库



存储库是用来存放transformations, jobs等开发的ETL及其相关内容

存储库分为：Pentaho Repository
File Repository
DataBase Repository

Tips：很多使用开源版本的PDI没有使用存储库管理，只保存在本地，或者使用Git来进行管理

PDI参考示例


如内容有错欢迎大家指正！！！
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事！