kettle数据采集三大流程-增量采集

 

Windows 查看端口占用并关闭
 

1、增量流程入口

   注意：相比原来的增加了采集错误，日志回传到原来表中，降低任务暂停或取消，日志被误删除。

具体的请参考案例：导入案例脚本即可。

2、XX_LOG日志采集到临时表XX_LOG_T中,并删除

3、增量采集主流程

   备注：如果表比较多，建议设置并发执行。

4、第一种(不含删除 不太推荐)：人员信息单表采集

   备注：主键是通过这种函数拼接或者调用函数生成的，前面就不要配置删除了，直接按照上面流程配置即可。数据主键类型与对账一样,有number类型的，SQL中必须to_number()。

5、第二种(含删除 推荐)：报告单明细

  备注：先进行删除操作，再进行新增、修改操作。删除前的步骤，同样的要保证number类型的进行转换。同上设置一样的如果设置并发，提交数量需改为1。

  备注：主键值下面要选择N，表示不需要更新。建议主键/关键字段不要更新了，否则影响采集效率。

6、删除XX_LOG_T表采集成功的数据

7、历史数据增量采集

将日常正能量采集流程脚本重命名导出并导入指定文件夹下，然后进行修改即可。

删除插入更新前的控件操作，保留后如下：(使用插入更新的方式进行操作)