kettle在转换中指定执行顺序

关于Kettle的事务和转换内步骤的顺序执行

kettle中转换和作业的执行顺序:

1、一个作业内的转换,是顺序执行的。

2、一个转换内的步骤是并行执行的。

3、作业内不支持事务,转换内支持事务。

根据业务需要,通常需要在转换内顺序执行,小技巧如下:

1、执行SQL是优先于所有步骤。

2、使用“阻塞数据直到步骤都完成”,确保其他数据步骤都完成再进行下一步骤。

事务:

1、设置转换只使用一个事务。转换设置-->夹项-->使用唯一连接。

    2、设置转换内的表插入等数据库的操作不进行批量提交。"提交记录数量"-->0

案例:抽取CSV至数仓,更新时间戳。

一、设置转换

1、CSV文件输入→字符串替换→插入/更新→阻塞数据直到步骤都完成→执行SQL脚本

kettle在转换中指定执行顺序_第1张图片

2、阻塞数据直到步骤都完成指定执行顺序

kettle在转换中指定执行顺序_第2张图片

3、运行转换

kettle在转换中指定执行顺序_第3张图片

你可能感兴趣的:(Kettle从入门到抛弃,etl,数据仓库)