基于spring+quartz的分布式定时任务框架实现

问题背景

我公司是一个快速发展的创业公司，目前有200人，主要业务是旅游和酒店相关的，应用迭代更新周期比较快，因此，开发人员花费了更多的时间去更=跟上迭代的步伐，而缺乏了对整个系统的把控

没有集群之前，公司定时任务的实现方式

在初期应用的访问量并不是那么大，一台服务器完全满足使用，应用中有很多定时任务需要执行

有了集群之后，公司定时任务实现的方式

随着用户的增加，访问量也就随之增加，一台服务器满足不了高并发的要求，因此公司把应用给部署到集群中，前端通过nginx代理（应用服务器ip可能是用防火墙进行了隔离，避免了直接使用ip+端口+应用名访问的方式）。

在集群环境中，同样的定时任务，在集群中的每台机器都会执行，这样定时任务就会重复执行，不但会增加服务器的负担，还会因为定时任务重复执行造成额外的不可预期的错误，因此公司的解决方案是：根据集群的数量，来把定时任务中的任务平均分到集群中的每台机器上（这里的平均分是指以前一个定时任务本来是在一台机器上运行，先在人为的把这个任务分成几部分，让所有的机器都去执行这个人去）

 目前集群中定时任务实现方式的缺陷

目前公司在集群中处理定时任务的方式不是正真的分布式处理方式，而是一种伪分布式（公司内部俗称土方法），这种方式存在一个明显的缺陷就是当集群中机器宕机，那么整个定时任务就会挂掉或者不能一次性跑完，会对业务产生严重的影响

针对缺陷的解决方案(本文的重点之处)

利用spring+quartz构建一套真正的分布式定时任务系统，经过查阅相关资料得知：quartz框架是原生就支持分布式定时任务的

 开发IDE：Intellij IDEA

JDK版本：1.8

Spring版本：4.2.6

Quartz版本：2.2.1

Spring与Quartz集成配置

  

  
    
    

    
    
  
  

  
  
    
    
    
  

  
    
  

  
  
    
    
    

    
    

    
    
    

    
      
    

    
      
        
      
    
    
      
        
      
    

    

  

  
  
    
　　　　
    
    
    
  

  
  
    
    
      0/10 * * * * ?
    
    
      GMT+8:00
    
  

  

quartz属性文件

#============================================================================
# Configure JobStore
# Using Spring datasource in quartzJobsConfig.xml
# Spring uses LocalDataSourceJobStore extension of JobStoreCMT
#============================================================================
org.quartz.jobStore.useProperties=true
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 5000
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.txIsolationLevelReadCommitted = true

# Change this to match your DB vendor
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate


#============================================================================
# Configure Main Scheduler Properties
# Needed to manage cluster instances
#============================================================================
org.quartz.scheduler.instanceId=AUTO
org.quartz.scheduler.instanceName=MY_CLUSTERED_JOB_SCHEDULER
org.quartz.scheduler.rmi.export = false
org.quartz.scheduler.rmi.proxy = false


#============================================================================
# Configure ThreadPool
#============================================================================
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true

相关类说明

AutowiringSpringBeanJobFactory类是为了可以在scheduler中使用spring注解，如果不使用注解，可以不适用该类，而直接使用
SpringBeanJobFactory

package com.aaron.clusterquartz.autowired;

import org.quartz.spi.TriggerFiredBundle;
import org.springframework.beans.BeansException;
import org.springframework.beans.factory.config.AutowireCapableBeanFactory;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.scheduling.quartz.SpringBeanJobFactory;

/**
 * @author 
 * @description 使job类支持spring的自动注入
 * @date 2016-05-27
 */
public class AutowiringSpringBeanJobFactory extends SpringBeanJobFactory implements ApplicationContextAware
{
  private transient AutowireCapableBeanFactory beanFactory;

  public void setApplicationContext(ApplicationContext applicationContext) throws BeansException
  {
    beanFactory = applicationContext.getAutowireCapableBeanFactory();
  }


  @Override
  protected Object createJobInstance(TriggerFiredBundle bundle) throws Exception
  {
    Object job = super.createJobInstance(bundle);
    beanFactory.autowireBean(job);
    return job;
  }
}

package com.aaron.clusterquartz.job;

import com.arron.util.DateUtils;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.quartz.QuartzJobBean;

import java.util.Date;

/**
 * @author 
 * @description 一句话描述该文件的用途
 * @date 2016-05-23
 */
public class PrintCurrentTimeJobs extends QuartzJobBean
{
  private static final Log LOG_RECORD = LogFactory.getLog(PrintCurrentTimeJobs.class);

　　//这里就是因为有上文中的AutowiringSpringBeanJobFactory才可以使用@Autowired注解，否则只能在配置文件中设置这属性的值
  @Autowired
  private ClusterQuartz clusterQuartz;


  protected void executeInternal(JobExecutionContext jobExecutionContext) throws JobExecutionException
  {
    LOG_RECORD.info("begin to execute task," + DateUtils.dateToString(new Date()));

    clusterQuartz.printUserInfo();

    LOG_RECORD.info("end to execute task," + DateUtils.dateToString(new Date()));

  }
}

测试结果：

由于只有一台电脑，所有我开了8080和8888两个端口来测试的，上面的定时任务我设置了每10秒运行一次。

当只我启动8080端口时，可以看到控制台每隔10秒打印一条语句

两个端口同时启动的对比测试中可以看到，只有一个端口在跑定时任务

 

 这个关了正在跑定时任务的端口后，之前的另一个没有跑的端口开始接管，继续运行定时任务

至此，我们可以清楚地看到，在分布式定时任务中（或者集群），同一时刻只会有一个定时任务运行。

整个demo地址：http://xiazai.jb51.net/201701/yuanma/spring-cluster-quartz_jb51.rar

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。