kettle根据自增id做增量加载

kettle根据自增id做增量加载
1.场景介绍:
根据自增id做增量加载
2.案例适用范围:
增量数据同步可参考,变量运用可参考
3.前期配置表准备:

a.建好两张配置表kettle根据自增id做增量加载_第1张图片
b.样例数据准备:
kettle根据自增id做增量加载_第2张图片
c.配置要加载的表信息到增量加载配置表中
在这里插入图片描述
4.整个job设置如下设计:
kettle根据自增id做增量加载_第3张图片
kettle根据自增id做增量加载_第4张图片
a.获取上次记录的自增id设计如下:
kettle根据自增id做增量加载_第5张图片
b.更新自增id设计如下:
kettle根据自增id做增量加载_第6张图片
c.记录增量数据量设计如下:
kettle根据自增id做增量加载_第7张图片
d.同步数据步骤很简单就是表输入表输出
kettle根据自增id做增量加载_第8张图片
e.整个job调用通用转换关键变量设置:
kettle根据自增id做增量加载_第9张图片
5.调作业查看结果:
a.job运行成功
kettle根据自增id做增量加载_第10张图片
查看配置表是否更新成功
kettle根据自增id做增量加载_第11张图片
b.查看目标表数据已加载成功
kettle根据自增id做增量加载_第12张图片

c.源表新增数据测试增量是否正确
在这里插入图片描述
重新调job
kettle根据自增id做增量加载_第13张图片
重新查看目标表数据新增了两条
kettle根据自增id做增量加载_第14张图片
查看配置表id更新成最大的5
kettle根据自增id做增量加载_第15张图片
增量日志记录
kettle根据自增id做增量加载_第16张图片
如内容有错欢迎大家指正!!!
资源下载链接:kettle通过id自增做增量加载
更多ketlle视频资料下载地址:kettle视频资料
读后有收获可以支付宝请作者喝咖啡
kettle根据自增id做增量加载_第17张图片
读后有疑问请加QQ群来聊一聊 kettle那些事!
kettle根据自增id做增量加载_第18张图片

你可能感兴趣的:(kettle增量加载,kettle增量同步,kettle增量迁移)