Kettle(二)——控件简述

         上篇简单讲述了Kettle理论基础知识,那么Kettle工具到底有哪些控件呢?能够完成我们开发中针对数据抽取转换加载的那些功能,这篇博客简单讲述kettle的常用控件。好,首先看一下kettle的控件分布界面图:


Kettle(二)——控件简述_第1张图片


         kettle其实做了相当丰富的控件供我们使用,其基本能够完成我们业务上的需求,当然随着大数据云计算的流行,新版本4.3以上的kettle也针对hadoop中的HbaseNOSQL数据进行了支持,不过还没有学习到,随着深入不断的学习吧。好,我用一个思维导图对kettle的常用控件进行小结:


Kettle(二)——控件简述_第2张图片


         好,下边简单讲述一下这几大常用控件的分类:


         一,输入控件,顾名思义就是将数据从其它载体中输入到kettle中,即抽取数据过程,我们可以从数据库表中获取,从文本文件,EXCEL,XML等文件获取,还可以只在kettle中模拟数据,或者获取系统中的参数,往往使kettle的开始部分。


         二,输出控件,即相对上边输入,是对经过kettle处理的数据进行向数据库,各种文件的输出。往往是kettle转换的结束部分,也就是加载部分。


         三,转换,这个是转换过程中,我们可以通过这些控件,添加新的字段,例如:主键,删除标识等。还有对字符串字段的各种处理,对字段的各种处理。即我们转换中对数据的加工过程。


         四,Utility(工具控件):即我们转换中的一些辅助控件,例如发送邮件,写日志等。


         五,流控件:是控制整个转换流程,数据流向的一些控件,例如Swich/Case就像Java if else等,过滤记录来过滤一些我们不想操作的记录等。


         六,脚本,主要是针对JSSQLJava三种语言的支持。


        七,查询控件:主要是针对数据库表的查询操作,还有就是HTTPwebservice的获取工作等。

    

    当然还有其它的一些控件,只不过这些是比较常用的,把这些掌握熟练了,就基本上能够完成我们大部分的业务需求了。

 

        综上,为几大类我们常用的控件,我们通过将这几大类控件融合运用,发挥各自的优势,使我们对数据的抽取、转换、加载更加得心应手。对于控件的具体使用,我不太想一个个介绍,因为我们首先知道这个控件是干什么用的,能够实现什么功能,然后需要我们做的就是打开它,然后亲自动手点点点,百度百度百度,然后再点点点,那么基本上就差不多了。



你可能感兴趣的:(Kettle,etl)