Java线程池多线程查询数据库提高查询效率

Java线程池多线程查询数据库提高查询效率

• 需求
• 问题
• 思路
• 代码
• 解析

需求

公司数据统计报表查询，几张大表关联查询，包含跨库查询，数据联查，数据过滤，数据统计。

问题

主表数据1

主表数据2

…

统计数据1

统计数据2

…

数据

数据

数据

数据

报表结构是主表数据+统计数据，只查主表数据速度很快，统计数据需要跨库联查，且表数据量大，拖慢了速度。
一开始的做法是，每次分页请求都先获取主表list，再foreach主表list，根据主表字段去查询统计数据并进行计算，再合并到主表进行返回，查询速度不理想。
分页查响应时间=1次主表查询时间+10次统计数据查询时间

思路

复杂的报表数据统计不应全部由DB层面去解决，而是SQL仅负责数据过滤，返回统计所需的字段，SQL尽量简单高效，service层拿到DB返回的结果集，由代码层面去进行较为复杂的数据合并与统计。

最总给到前端的是一个分页，那么优化的话是基于分页去进行，分页10条，线程池开启10个线程去并行查询，最总汇总返回给前端。
分页查响应时间=1次主表查询时间+1次统计数据查询时间（10条中最慢的一条）

代码

线程池工具类

package com.youxue.weliao.utils;

import com.google.common.util.concurrent.ThreadFactoryBuilder;
import lombok.extern.slf4j.Slf4j;

import java.util.concurrent.Future;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * @Author lhy
 * @Date 2022/5/13
 */
@Slf4j
public class ThreadUtil {

    private volatile static ThreadUtil threadUtil;

    private ThreadPoolExecutor executor;

    /**
     * 单例
     */
    private ThreadUtil() {
    }

    public static ThreadUtil getThreadUtilInstance() {
        if (null == threadUtil) {
            synchronized (ThreadUtil.class) {
                if (null == threadUtil) {
                    threadUtil = new ThreadUtil();
                }
            }
        }
        return threadUtil;
    }

    /**
     * 提交任务
     *
     * @param task
     */
    public Future submit(Runnable task) {
        if (executor == null) {
            // 初始化线程池
            executor = initialize();
        }
        // 执行线程
        return executor.submit(task);
    }

    /**
     * 初始化线程池
     *
     * @return
     */
    private synchronized ThreadPoolExecutor initialize() {
        ThreadPoolExecutor executor = new ThreadPoolExecutor(10, 10, 0L,
            TimeUnit.MILLISECONDS,
            new LinkedBlockingQueue<>(1024),
            new ThreadFactoryBuilder()
                .setNameFormat("task-admin-getlist--%d")
                .build(),
            new ThreadPoolExecutor.CallerRunsPolicy());
        log.info("===================>ThreadUtil线程池初始化");
        return executor;
    }

    /**
     * 关闭线程池
     */
    public void shutdown() {
        if (executor != null) {
            executor.shutdown();
        }
    }

}

service层实际调用，这里我就不把全部业务代码放出来了，简化后如下

    @Override
    public IPage getManageDto(IPage page, String str, String end, List taskAdminIds) {
    	// 主表查询
        IPage manageDtos = baseMapper.getManageDto(page, str, end, taskAdminIds);
        if (manageDtos.getTotal() > 0) {
    		// 主表查询结果集
            List manageDtoList = manageDtos.getRecords();
            // 异步线程Future集合
            List> futures = new ArrayList<>();
            for (ManageDto manageDto : manageDtoList) {
            	// 本页有几条数据便开启几条线程去进行统计数据查询
            	futures.add(ThreadUtil.getThreadUtilInstance().submit(() -> {
	        		// 统计数据查询
	        		List manageVos = groupCyberArmyService.getManageVos(manageDto.getProcessAdminUserId(), manageDto.getTaskAdminId());
	        		// 业务逻辑运算后合并到主表Dto
            	}))
            }
            this.waitFinish(futures);
            manageDtos.setRecords(manageDtoList);
        	return manageDtos;
        }
        return null;
    }
    
    /**
     * 线程池内线程是否已全部执行结束
     * 
     * @param futures 异步线程Future集合
     */
    @SneakyThrows
    private void waitFinish(List> futures) {
        for (Future future : futures) {
            future.get();
        }
    }

解析

future.get方法

线程池线程是异步提交的，但是返回分页结果是需要同步返回，Future的get是个阻塞方法。只有所有的任务全部完成，我们才能用get按照任务的提交顺序依次返回结果，调用future.get()方法查看线程池内所有方法是否已执行完成，达到线程异步提交，结果集同步返回的效果。

线程池工具类

单例就不多解释了，这里用的是DCL单例，线程池根据自身需求配置核心线程等参数。

先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级java工程师，想要升技能，往往是需要自己摸索成长或是报班学习，但对于培训机构动则近万元的学费，着实压力不小。自己不成体系的自学效率很低又漫长，而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家，初衷也很简单，就是希望帮助到想自学又不知道该从何学起的朋友，同时减轻大家的负担。添加下方名片，即可获取全套学习资料哦