kettle写入mysql性能优化2019-02-28

自己真实测试过，至少速度可以提高5倍以上。

首先修改mysql的配置文件

vim /etc/my.cnf
根据自己服务器信息修改对应参数

join_buffer_size = 1024M
sort_buffer_size = 10M
read_rnd_buffer_size = 10M

innodb_flush_log_at_trx_commit = 2
innodb_write_io_threads = 16
innodb_flush_method = O_DIRECT
thread_cache_size=64

保存完配置文件后记得重启mysql服务。
service mysqld restart

配置mysql数据源连接

image.png

第一个参数提高速度明显，当然其他参数也要配置

配置数据库提交和并发数

image.png

image.png

上面这个小的Table output左上角有一个5，这是并发数，设置方法为右键 change Numbers of copy**根据自己的情况做配置。

更改转换的数据集记录数和feedback size

image.png

同样根据自己情况做设置。

我自己尝试过如果是小表会是步行和火箭的速度，普通大表起码也在4-5倍左右。
加油！