开源调度框架xxl-job集成SpringBatch详解

文章目录

      • 一、启动xxl-job调度中心
      • 二、配置部署执行器项目
        • 1、maven依赖
        • 2、执行器配置
        • 3、执行器组件配置
        • 4、springbatch调度任务开发
        • 5、调度中心,新建执行器
        • 6、调度中心,新建调度任务

写在前面:
我是「境里婆娑」。我还是从前那个少年,没有一丝丝改变,时间只不过是考验,种在心中信念丝毫未减,眼前这个少年,还是最初那张脸,面前再多艰险不退却。
写博客的目的就是分享给大家一起学习交流,如果您对 Java感兴趣,可以关注我,我们一起学习。

前言:springbatch它对任务调度方面没有做出什么封装,如何把任务的执行时间实现cron表达式的可配置化, 修改的时候并不需要修改配置文件, 重启工程等等麻烦的事情, 网上查找各种资料知道 xxl-job 及当当网开源的elastic-job,这里我就介绍xxl-job与spring batch的集成使用。

一、启动xxl-job调度中心

如何启动xxl-job调度中心,其官方文档已经写的很详细,在这里就不在重复介绍了。

启动xxl-job调用中心传送门:启动调度中心详细步骤

根据官网调度中心启动完成界面如下:
开源调度框架xxl-job集成SpringBatch详解_第1张图片

二、配置部署执行器项目

执行器项目:spring-boot-springbatch (提供多种版本执行器供选择,现以 springboot 版本为例,可直接使用,也可以参考其并将现有项目改造成执行器)
作用:负责接收“调度中心”的调度并执行;可直接部署执行器,也可以将执行器集成到现有业务项目中。

1、maven依赖

spring-boot-springbatch pom文件中引入“ xxl-job-core”的maven依赖;

<dependency>
      <groupId>com.xuxueligroupId>
      <artifactId>xxl-job-coreartifactId>
      <version>2.2.0version>
  dependency>

2、执行器配置

执行器配置,配置内容说明:

### 调度中心部署跟地址 [选填]:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调";为空则关闭自动注册;
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN [选填]:非空时启用;
xxl.job.accessToken=
### 执行器AppName [选填]:执行器心跳注册分组依据;为空则关闭自动注册
xxl.job.executor.appname=spring-boot-springbatch
### 执行器注册 [选填]:优先使用该配置作为注册地址,为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP [选填]:默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用;地址信息用于 "执行器注册" 和 "调度中心请求并触发任务";
xxl.job.executor.ip=
### 执行器端口号 [选填]:小于等于0则自动获取;默认端口为9999,单机部署多个执行器时,注意要配置不同执行器端口;
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 [选填] :需要对该路径拥有读写权限;为空则使用默认路径;
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 [选填] : 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能;
xxl.job.executor.logretentiondays=30

3、执行器组件配置

执行器组件XxlJobConfig配置如下:

@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}    

4、springbatch调度任务开发

基于BEAN模式(方法形式)
Bean模式任务,支持基于方法的开发方式,每个任务对应一个方法。

JobLauncherService配置如下


/**
 * @author shuliangzhao
 * @date 2020/12/12 19:17
 */
@Service
public class JobLauncherService {

    private static final Logger log = LoggerFactory.getLogger(JobLauncherService.class);

    @Autowired
    private JobLauncher jobLauncher;

    public Map<String,Object> startJob(Job job, JobParameters jobParameters) throws Exception {
        Map<String,Object> resultMap = CollUtil.newHashMap();
        //计时
        StopWatch stopWatch = new StopWatch();
        stopWatch.start(job.getName());
        //执行任务
        JobExecution run = jobLauncher.run(job, jobParameters);
        //返回结果
        StringBuffer stringBuffer = new StringBuffer();
        Collection<StepExecution> stepExecutions = run.getStepExecutions();
        stepExecutions.forEach(stepExecution -> {
            stringBuffer.append("readCount:" + stepExecution.getCommitCount() + LogConstants.LOG_STR_COMMA);
            stringBuffer.append("filterCount:" + stepExecution.getFilterCount() + LogConstants.LOG_STR_COMMA);
            stringBuffer.append("commitCount:" + stepExecution.getCommitCount() + LogConstants.LOG_STR_COMMA);
            stringBuffer.append("writeCount:" + stepExecution.getWriteCount());
        });
        stopWatch.stop();
        ExitStatus exitStatus = run.getExitStatus();
        String returnStr = System.lineSeparator() +"resultCount: "+ stringBuffer.toString()
                + System.lineSeparator() +"exitStatus: "+exitStatus
                + System.lineSeparator()+ "timeInfo: "+stopWatch.prettyPrint();
        log.info(returnStr);
        resultMap.put(SyncConstants.STR_RETURN_RESULT,returnStr);
        resultMap.put(SyncConstants.STR_RETURN_EXITSTATUS,exitStatus);
        return resultMap;
    }
}

启动job工具类配置:

/**
 * @author shuliangzhao
 * @date 2020/12/12 19:24
 */
public class JobUtil {

    /**
     * 构建JobParameters
     * @return
     */
    private static JobParameters makeJobParameters() {
        JobParameters jobParameters = new JobParametersBuilder()
                .addLong("time",System.currentTimeMillis())
                .toJobParameters();
        return jobParameters;
    }

    public static ReturnT<String> runJob4Executor(String jobName, JobLauncherService jobLauncherService, Job job) throws Exception {
        XxlJobLogger.log("start sync "+jobName +" data");
        Map<String, Object> resultMap = jobLauncherService.startJob(job, makeJobParameters());
        String resultStr = (String)resultMap.get(SyncConstants.STR_RETURN_RESULT);
        XxlJobLogger.log("end sync "+jobName +" data, result: "+System.lineSeparator()+resultStr);

        ExitStatus exitStatus = (ExitStatus)resultMap.get(SyncConstants.STR_RETURN_EXITSTATUS);
        String exitCode = exitStatus.getExitCode();
        //若成功,返回SUCCESS
        if(ExitStatus.COMPLETED.getExitCode().equals(exitCode)){
            return IJobHandler.SUCCESS;
        }else{
            return IJobHandler.FAIL;
        }
    }
}

执行器开发PatternMatchJobHandler

1、任务开发:在Spring Bean实例中,开发Job方法;
2、注解配置:为Job方法添加注解 “@XxlJob(value=“自定义jobhandler名称”, init = “JobHandler初始化方法”, destroy = “JobHandler销毁方法”)”,注解value值对应的是调度中心新建任务的JobHandler属性的值。
3、执行日志:需要通过 “XxlJobHelper.log” 打印执行日志;
4、任务结果:默认任务结果为 “成功” 状态,不需要主动设置;如有诉求,比如设置任务结果为失败,可以通过 “XxlJobHelper.handleFail/handleSuccess” 自主设置任务结果;

/**
 * @author shuliangzhao
 * @date 2020/12/12 19:31
 */
@Component
public class PatternMatchJobHandler {
    @Autowired
    private JobLauncherService jobLauncherService;

    @XxlJob(value="patternMatchJobHandler")
    public ReturnT<String> execute(String s) throws Exception {
        return JobUtil.runJob4Executor("patternMatchJob",jobLauncherService,
                SpringContextUtil.getBean("patternMatchJob", Job.class));
    }
}

5、调度中心,新建执行器

开源调度框架xxl-job集成SpringBatch详解_第2张图片

6、调度中心,新建调度任务

对新建的任务进行参数配置,运行模式选择“ BEAN模式”,JobHandler属性填充任务注释解“ @XxlJob ”中定义的值
开源调度框架xxl-job集成SpringBatch详解_第3张图片
点击任务管理执行按钮执行一次,就可以把SpringBatch任务调起来。在调度日志里面可以查看接口是否执行成功或失败。

调度日志:
开源调度框架xxl-job集成SpringBatch详解_第4张图片
至此,我们开源调度框架xxl-job集成springbatch介绍完毕。
如果想更详细查看以上所有代码请移步到github:开源调度框架xxl-job集成springbatch

你可能感兴趣的:(springbatch,spring,spring,boot,调度框架)