kettle循环(只适用于数据量不大的情况下)

直接上例子,适用在考虑使用:

我当时的需求是将文本文件的数据插入更新到数据库,数据量大概为200w以上,执行完需要一个多小时,自己在网上搜到的用js脚本实现循环,觉得不太好(个人原因),所以无意之间发现了这个方法

kettle循环(只适用于数据量不大的情况下)_第1张图片

上图有两个转换,获取文件数据和比对数据,做相应操作

需要将获取到的数据在比对数据,做相应操作转换中进行数据库匹配,打日志等操作,如果不循环查库(此处就是慢的原因,加索引也不好使)将得不到插入更新标记,也就无法接下来的操作。

循环其实就是执行所有数据的每一行,kettle已经提供了相应功能:

kettle循环(只适用于数据量不大的情况下)_第2张图片

至此,就可以实现循环了,有兴趣可以留言,有相关问题可以解答。

你可能感兴趣的:(kettle循环)