kettle同步数据 （SAP hana到 Mysql）

安装kettle

Kettle 运行需要jdk 环境,安装kellte之前确保环境中已有jdk环境。
如果需要安装jdk 可以参考：
https://www.cnblogs.com/yybrhr/p/9811352.html

kettle 下载完以后直接翻译解压即可。

• Kettle的基础使用

实现过程

1. 建立数据连接；
2. 建立转换关系（异构数据库之间数据的字段对应关系，支持字段名称不一致）；
   a) 源数据—数据抽取（sql）；
   b) 更新到目标表
3. 建立作业（以任务的形式执行已经建立的转换关系）；

参考文档：
kettle 全量同步数据
https://blog.csdn.net/fk478561641/article/details/80678506

Kettle增量同步变动数据
https://blog.csdn.net/maixiaochai/article/details/83795703

Kettle作业的自带定时任务
https://www.cnblogs.com/Bruce_H21/p/10996246.html

常见问题

1.kettle对mysql插入空值‘’时，发现对空值的处理在插入mysql时，会自动转转换为null值，
需要在kettle.properties文件中添加如下参数，就不会自动转换了
windows下文件的位置
C:\Users\用户名\.kettle目录中找到kettle.properties文件，增加
KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y
linux下文件的位置，位于安装kettle的用户所大的home目录下，在隐藏文件.kettle目录下

2.SAP DBTech JDBC: Cannot convert SQL type VARBINARY to Java type java.sql.Blob.
查看sap hana 支持文档发现数据类型VARBINARY 不能转换成Java type java.sql.Blob.，
解决方案就是在sql 查询时，直接成其他数据类型
参考文档：
SAP hana有效的Java到SQL转换
https://help.sap.com/viewer/0eec0d68141541d1b07893a39944924e/2.0.02/en-US/5be923a2e5bc45afaee4937f9810bb56.html
SAP hana资料类型(数据类型转换)
http://www.sap.optimieren.de/hana/hana/html/_csql_data_types.html

3.mysql 字段带"/"命名，插入时报错（sql错误），
修改为下划线“_”;

Kettle 在windows 上移植到另一台windows

1,直接复制本地的软件文件夹到新的机器上（C:\pdi-ce-7.1.0.0-12\data-integration），
2.复制C:\Users\用户名\.kettle 到新的机器上的相同路径下；
3.点击spoon.pat 直接就可以运行
4.添加之前的转换，作业。

在新弹框中选择，对应转换，作业即可。