通过页面导入20w数据存进数据库中

1.需求

需要在页面上新增一个策略,导入20w的userId,需要先通过用户表判断userId是否存在,然后再插入到策略用户关联表中。(策略表中好需要记录插入的有效的用户数量)

2.思路

1.打算通过csv文件导入20w的userId

2.先上传到服务器上  在从服务器上读


读取csv文件

3.先在策略表中新增一条数据,返回主键id(留着插入策略用户表中需要)

然后对读出来的20w数据进行分批次操作,2000条处理一次(用多线程处理CompletableFuture,需要返回值)


2000条处理一次

4.

CompletableFuture来处理


经过最后测试,

2000条数据  需要1.088s

20w条数据  需要9.168s

你可能感兴趣的:(通过页面导入20w数据存进数据库中)