mybatisplus的批量插入跳坑

1.事件起因

昨天cto给我一个Excel文件,里面有80w的数据要我导入mysql表里。我做完数据分类和整理后,准备导入,因为底层使用了mybatis plus所以直接用它的批量插入,一次500条,按照我的估计应该很快。


mybatisplus的批量插入跳坑_第1张图片
image.png

2.戏剧性发展

在我写好代码后准备让他自己跑,自己去开个早会回来应该就跑完了,但是早会10分钟回来才跑了1.8w条左右的数据。我人裂开了。网上找了一下原因,结果说是mybatis plus插入就是在跑for循环。

3.自己动手

没有办法,业务人员要快点用到数据肯定不能这么慢的等mybatisplus表演for了,我只有自己写mybatis的for语句了。


mybatisplus的批量插入跳坑_第2张图片
image.png

mybatisplus的批量插入跳坑_第3张图片
image.png

4.结果

数据导入成功,然后让业务人员调用。结果业务那边一看最多的数据有30+w条,说查询太慢要放redis缓存查。我都不知道要说啥子了。(妈的,你们给的数据到最后有多大自己不知道吗?还放缓存?还不如放es来的好!!!)最后只好让他去找cto商量数据查找该怎么做,这业务技术水平我都有点没有信心。

你可能感兴趣的:(mybatisplus的批量插入跳坑)