kettle 表输出每秒只有三十多条记录优化后测评

优化之前一个任务执行将近一个小时(处理20多万数据),目前只要不到两分钟,

优化方式(经多方查询后测试)数据库连接选项添加如下三个属性

 本地测试版本为kettle 8.2,mysql 5.7.30-log

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

kettle 表输出每秒只有三十多条记录优化后测评_第1张图片

从sql server 到 mysql 库 表字段有51个写入速度测试

提交记录数量1000和10000 没有明显取别(个人建议1000就可以了)

kettle 表输出每秒只有三十多条记录优化后测评_第2张图片

 

 从sql server 到 mysql 库 表字段有10个写入速度测试

kettle 表输出每秒只有三十多条记录优化后测评_第3张图片

服务器 从sql server 到 mysql 库 表字段有10个写入速度测试(kettle7.0 mysql5.7.26-log)

kettle 表输出每秒只有三十多条记录优化后测评_第4张图片

 目前达到了预期的目标,如有更好的优化策略,欢迎评论纠正!

你可能感兴趣的:(kettle,mysql,windows,大数据,数据库)