Kettle一些问题总结

1.oracle读取速度慢

解决办法:在选项中添加defaultRowPrefetch,值设置为10000以上,具体是数据库情况而定。

2.使用MySQL批量插入

  • 在数据库连接中添加参数:
    ?useServerPrepStmts=false&rewriteBatchedStatements=true
  • 在“表输出”组件中勾选使用批量插入

3.导出csv文件过大

  • 默认导出文本文件使用的是固定宽度,需要设置字段为最小宽度。

4.pan命令多个参数的指定

每个参数多一个-param选项

pan.sh -file orcl2mys_templete.ktr -level Basic -param:SCHEMA_NAME=LNZWGL201906 -param:TABLE_NAME=DSY_T_ELE_AD

你可能感兴趣的:(商业智能-ETL)