Kettle数据同步和抽取

Kettle是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

Kettle的简单使用

下载Kettle并解压,设置环境变量新增KETTLE_HOME,指向kettle路径


window下运行Spoon.bat,启动Kettle

首先数据库里有user_1表如下

Kettle数据同步和抽取_第1张图片

再新建一直目标表user_2

create table user_2 as select * from user_1 where 1=2
则完成了新表的创建

Kettle数据同步和抽取_第2张图片

Kettle启动界面如下

Kettle数据同步和抽取_第3张图片

新建一个转换,选择主对象树-新建DB连接,新建DB连接前先下载相应的oracle数据库驱动ojdbc6.jar,并放在Kettle下的lib文件夹里

Kettle数据同步和抽取_第4张图片

Kettle数据同步和抽取_第5张图片

创建DB连接后,选择核心对象-输入-新建一个表输入,并设置其属性

Kettle数据同步和抽取_第6张图片

选择核心对象-输出-新建一个插入/更新,并设置其属性

Kettle数据同步和抽取_第7张图片

目标模式为用户名
查询关键字ID用于插入时判断是新增还是更新,点击确定后并保存改新建的转换文件。

新建一个job,选择核心对象-通用-分别新建一个START和转换,并设置其属性。

Kettle数据同步和抽取_第8张图片Kettle数据同步和抽取_第9张图片

转换文件名的文件指向之前保存的转换1.点击运行即可。运行结果如下

Kettle数据同步和抽取_第10张图片

再看user_2表,可以发现user_1中的数据同步到user_2表了

Kettle数据同步和抽取_第11张图片

你可能感兴趣的:(java,框架相关)