mysql百万级数据保存方法对比

背景

        主键采用雪花ID, 测试数据量1kw, 每次保存2w, 表属性27个, 6个组合索引

方案一

        使用ibatis的foreach标签,尾部拼接values方法, 例如: INSERT INTO table values (a1,b1,c1),(a2,b2,c2)......

        缺点: ibatis 的foreach循环涉及字符串占位符解析和填写,性能比较慢,CPU跑满

        当数据量达到550w时,单次插入2w飙升到10秒以上

        当数据量达到700w时,单次插入2w飙升到25秒以上

方案二

使用PreparedStatement进行批量插入

操作

对象赋值

40.4秒

addBatch操作

9秒

executeBatch操作

8.14分钟

commit操作

8.7秒

总耗时

9分钟

结果比较

方案

数据量

单次保存耗时

总耗时(毫秒)

方案1

1kw

逐渐变长

1个半小时没跑完,直接重启了

方案2

1秒左右

9分钟

你可能感兴趣的:(mysql)