采用Pentaho Kettle 7.1进行约500万条单表数据抽取,在快要抵达胜利的终点时,出现了内存泄漏,java.lang.OutOfMemoryError: Java heap space,竟然是因自己粗心导致
背景业务场景中需要抓取异构系统中的数据,自然想到了鼎鼎有名开源的ETL工具Kettle,网上说8的版本还有诸多问题,这里采用较老的7.1.0.0.-12测试场景1、运行环境我使用了Kettle的Carte组件,将Kettle进行了Docker容器化打包,在服务器上部署运行,由于是测试,服务器的硬件配置不是特别高类别cpu内存磁盘配置2核心4G500G2、运行的jvm参数-XX:+Aggressiv