【ETL】使用kettle工具将数据从oracle迁移到mysql

【ETL】使用kettle工具将数据从oracle迁移到mysql

1 kettle安装及运行  
kettle官网下载地址 ,下载完毕后大概有800多m 

下载完毕后，直接解压，双击Spoon.bat进行运行。 
 
如果在你的电脑上启动之后，没有进入下面的页面，那么就换台机器。修改  Spoon.bat 中java内存参数不一定好使。

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"1

 
2 数据库连接  
将数据从oracle迁移到mysql，需要先在kettle中建立oracle和mysql数据库连接，注意 mysql-connector-java-5.1.45.jar 和 ojdbc14-10.2.0.1.0.jar 要在kettle启动之前拷贝进去。 
2.1 mysql  
将 mysql-connector-java-5.1.45.jar 拷贝到 data-integration\lib 目录下 
 
按照下图操作，输入相关的数据连接参数 

配置字符集 

2.2 oracle  
将 ojdbc14-10.2.0.1.0.jar 拷贝到 data-integration\lib 目录下 

按照下图操作，输入相关的数据连接参数 

3 最基本的导数据  
导入数据的基本流程如下图，可以分为三个步骤，首先建立源数据库和目标数据库的连接，然后建立源数据表和目标数据表的映射关系，最后建立作业任务，执行。 

3.1 建立DB连接  
这个在上面第2章已经将做如何配置了。 
3.2 建立steps  
这一步实现源数据库和目标数据表的映射关系，它也有三个步骤 
3.2.1表输入  
第一步：在【转换】里面，选择【核心对象】，接着双击【表输入】，或者选中将【表输入】拖拽到右侧空白区域。 

第二步：双击你拖进来的【表输入】，修改“步骤名称”，选择源数据，点击获取【获取SQL查询语句】，选择你想同步的表，点击确定后，就可以了。当然你也可以自己写sql语句 

3.2.2 字段选择  
第一步：在【转换】里面，拖拽【字段选择】到右侧空白区域。 
第二步：按住shift 拖动鼠标连接【客户基本信息输入】和 【字段选择】 
第三步：双击【字段选择】，添加【列映射】，建立源表和目标表中列字段的映射，如果字段名称相同，kettle会自动帮你选择，如果不同，则需要你自己选择对应关系 

下图是匹配完成，点击确定后的结果。 
 
第四步：这一步可选，当源数据字符集与目标字符集不同的时候需要做字符转换，如果一致，则直接跳过这一步 

3.2.3 表输出  
第一步：在【转换】拖拽【表输出】到右侧空白区域，按住shift 拖动鼠标连接【字段选择】和【基本信息输出】 
 
第二步：双击【表输出】，修改“步骤名称”，选择“数据库连接”，选择“目标表”， 
 
第三步：获取字段，因为在【字段选择】中已经做了匹配，所以这里可以全选，kettle可以帮你全部选择 
 
第四步： ctrl+s 保存 ktr文件 
4 建立作业  
按照下图新建作业 
 
4.1 设置START  
拖拽【START】到右侧空白区域 

4.2 配置作业转换  
第一步：拖拽【转换】到右侧空白区域，并按住shift 拖动鼠标连线 

第二步：选择第3章保存的ktr文件，保存即可。 
 
第三步：手工运行作业，点击下图红色圈圈里面的按钮 

进入下面的页面，点击【执行】就可以了。 
 
查看日志，下面的是结果正常的。如果有错，kettle会提示你错误原因。 

4.3 定时执行  
如果不想立即执行，那么可以选择制定的规则，让kettle定期执行。具体操作，可双击【START】，更改“类型”，下图示例是制定每天的具体时刻。 
 
运行的时候，选择Start Job at 就可以了。 
 
你会发现画风会停到下面这里 
 
跟踪日志，你会发现它会按照我设置的时间开始执行 

参考资料  
KETTLE 从oracle将表导入mysql  
Kettle数据抽取（转换）出现乱码问题解决方法

---

---

About Me

........................................................................................................................ ● 本文作者：小麦苗，部分内容整理自网络，若有侵权请联系小麦苗删除 ● 本文在itpub（ http://blog.itpub.net/26736162 ）、博客园（ http://www.cnblogs.com/lhrbest ）和个人weixin公众号（ xiaomaimiaolhr ）上有同步更新 ● 本文itpub地址： http://blog.itpub.net/26736162 ● 本文博客园地址： http://www.cnblogs.com/lhrbest ● 本文pdf版、个人简介及小麦苗云盘地址： http://blog.itpub.net/26736162/viewspace-1624453/ ● 数据库笔试面试题库及解答： http://blog.itpub.net/26736162/viewspace-2134706/ ● DBA宝典今日头条号地址： http://www.toutiao.com/c/user/6401772890/#mid=1564638659405826 ........................................................................................................................ ● QQ群号： 230161599 （满） 、618766405 ● weixin群：可加我weixin，我拉大家进群，非诚勿扰 ● 联系我请加QQ好友 （ 646634621 ） ，注明添加缘由 ● 于 2018-12-01 06:00 ~ 2018-12-31 24:00 在魔都完成 ● 最新修改时间：2018-12-01 06:00 ~ 2018-12-31 24:00 ● 文章内容来源于小麦苗的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解 ● 版权所有，欢迎分享本文，转载请保留出处 ........................................................................................................................ ● 小麦苗的微店 ： https://weidian.com/s/793741433?wfr=c&ifr=shopdetail ● 小麦苗出版的数据库类丛书 ： http://blog.itpub.net/26736162/viewspace-2142121/ ● 小麦苗OCP、OCM、高可用网络班 ： http://blog.itpub.net/26736162/viewspace-2148098/ ● 小麦苗腾讯课堂主页 ： https://lhr.ke.qq.com/ ........................................................................................................................ 使用 weixin客户端 扫描下面的二维码来关注小麦苗的weixin公众号（ xiaomaimiaolhr ）及QQ群（DBA宝典）、添加小麦苗weixin， 学习最实用的数据库技术。 ........................................................................................................................

 

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26736162/viewspace-2286840/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26736162/viewspace-2286840/