java数据库大量数据同步处理方法记录

java数据库大量数据同步保存处理方法

一 场景

当有大量数据需要保存到数据库时，此时若是一条一条的保存，将会多次进行I/O交互，而且大量数据还会让数据库崩溃，这个时候就需要进行优化处理。

二 实现

一 实现思路（redis缓存+分段批量插入）

第一步： 将需要保存到数据库中的数据放到缓存中
第二步：从缓存中分段读取数据，进行批量保存
第三步：删除缓存中的数据

二 实现代码

//第一步: 将大量数据放入缓存中
   listCacheSvc.rightPush(CacheKey.SYNC_ID.append("test"), dataObj);
//第二步：分段读取缓存并进行批量保存到数据库中
        long orgStartSize = 0;
        boolean hasOrgData = true;
        if (listCacheSvc.hasKey(CacheKey.SYNC_ID.append("test"))) {
            while (hasOrgData) {
                long orgEndSize = orgStartSize + 499;
                List<Object> orgJsonList = listCacheSvc.range(CacheKey.SYNC_ID.append("test"), orgStartSize, orgEndSize);
                orgStartSize += 501;
                if (CollectionUtils.isEmpty(orgJsonList)) {
                    hasOrgData = false;
                    continue;
                }
                if (!CollectionUtils.isEmpty(orgJsonList)) {
                    log.debug("保存组织架构数据-----开始");
                    insertDbOrgBatch(orgJsonList);
                    log.debug("保存组织架构数据----结束");
                }

            }
            //第三步：清空缓存
        listCacheSvc.del(CacheKey.SYNC_ID.append("test"));
    public List<HrGroupEntity> insertOrgList(List<HrGroupEntity> list) {
        List<HrGroupEntity> result = new ArrayList<>();
        int insertLength = list.size();
        int i = 0;
        while (insertLength > 1000) {
            List<HrGroupEntity> orgEntityList = hrGroupRepo.saveAll(list.subList(i, i + 1000));
            result.addAll(orgEntityList);
            i = i + 1000;
            insertLength = insertLength - 1000;
        }
        if (insertLength > 0) {
            List<HrGroupEntity> orgEntityList = hrGroupRepo.saveAll(list.subList(i, i + insertLength));
            result.addAll(orgEntityList);
        }
        return result;
    }