kettle加载到mysql插入更新优化方案之mysql批量加载

注：MySQL Bulk Loader组件必须在Linux下运行，因为MySQL批量加载时会创建一个命名管道，在Windows下是不支持的。加载工具用的是fifo
1.MySQL Bulk Loader组件介绍

wiki文档介绍
https://wiki.pentaho.com/display/EAI/MySQL+Bulk+Loader


这两个勾可限定是否根据主键替换

2.MySQL Bulk Loader组件实战介绍
有时对大表加工到mysql用表输出效率低，可采用如下的mysql批量加载方式，保证效率：

mysql批量加载需设置如下参数：否则不能加载
show variables like ‘max_binlog_cache_size’
show variables like ‘max_binlog_size’
show variables like ‘local_infile’

SET GLOBAL local_infile=1
set @@global.max_binlog_cache_size=18446744073709547520;
set @@global.max_binlog_size=1073741824;

mysql批量加载有timestamp类型时需加如下参数否则报错

为timestamp类型需如下选择：

3.提升kettle读写mysql性能的几个参数
kettle的DB连接的高级选项中添加如下参数：
rewriteBatchedStatements true
useServerPrepStmts false
useCompression true

如内容有错欢迎大家指正！！！
更多ketlle视频资料下载地址：kettle视频资料
另外也欢迎大家加入 下面的群来聊一聊 kettle那些事！