如何处理高并发任务

背景

1. 在用户量比较高的情况下，会有很多请求过来，此时线程池处理能力已经无法满足需求，如何解决？

• 方案：可以将当前的计算线程先保存起来，放入高并发消息队列中，等线程池中的任务较少时，再从队列拉数据去执行任务。

2. 如果微服务框架下有服务被熔断或者降级，其他任务不能查询该服务的信息，又不能直接丢弃，如何解决？

• 方案：将当前任务暂时存放在消息队列中，等待服务恢复之后，在从消息队列中拉取任务执行。

执行流程

1. 当批量用户请求过来时，先把用户请求放入Redis Map中或者ConcurrentHashMap中，对用户请求去重，保证交易号幂等性；
2. 这里创建一个线程池处理用户请求；

• 如果当前线程池请求数目<核心线程池数目，直接让核心线程池去执行任务
• 如果大于核心线程池数目，那么加入到线程队列中
• 如果队列已满，那么创建新的线程去处理，如果新的线程数目超过了最大线程数目，任务将被拒绝
• 拒绝策略是将任务提交到kafka消息队列中进行存储

3. 等到线程池中的任务较少或者夜间用户访问较少的时候，从消息队列中拉取请求重新进行处理

4. 如果处理失败将任务重新加入到消息队列中，等待一定的时机进行重试。

   
   
   项目框架

代码实现

• 模拟线程处理用户请求

@Override
   public void run() {
       //业务操作
       System.out.println("多线程已经处理订单插入系统，订单号："+ businessNo);
   }

• 采用线程池处理以上请求

   @Autowired
    private WorkProducerService producerService;

    @Autowired
    private RedisUtils redisUtils;

    @Override
    public void setBeanFactory(BeanFactory beanFactory) throws BeansException {
        factory = beanFactory;
    }

    /**
     * 订单的缓冲队列,当线程池满了，则将订单存入到此缓冲队列
     */
    Queue