分布式任务调度平台XXL-JOB

一. 简介

1. 概述

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

github地址：https://github.com/xuxueli/xxl-job

官方文档：http://www.xuxueli.com/xxl-job/#/

2. 架构图

步骤:

① 部署：xxl-job-admin  作为注册中心

② 创建执行器（具体调度地址） 可以支持集群

③ 配置文件需要填写xxl-job注册中心地址

④ 每个具体执行job服务器需要创建一个netty连接端口号

⑤ 需要执行job的任务类，集成IJobHandler抽象类注册到job容器中

⑥ Execute方法中编写具体job任务

核心：

任务调度平台根据执行地址，转发到真实执行器。

3. 原理

首先要搭建一个xxl-job平台，在平台创建一个执行器，创建执行器的时候，netty会帮你创建一个端口号，
执行器启动的时候，会把服务器信息注册到xxl-job平台。
在xxl-job平台创建任务管理，任务管理核心参数有执行器，JobHandler（对应代码中@JobHandler的value名称），Cron表达式
首先会在xxl-job平台先去触发定时job，会获取到执行器对应的实际服务器地址，然后使用xxl-job发送请求到实际的定时job任务地址执行，使用demoJobHandler名称查找对应的jvm服务器上JobHandler容器获取到类的信息，再使用反射机制进行执行。

二. 环境搭建

1. 首先搭建xxl-job-admin平台

下载官方demo，建好数据库，导入xxl-job-admin项目，在xxl-job-admin.properties修改几个配置，如数据源，邮箱，账号等

由于不是springboot项目，需要单独部署tomcat启动，我配的是8090端口，浏览器访问：http://localhost:8090/，默认用户名密码可以在xxl-job-admin.properties修改，登录成功后出现如下页面：

接下来配置几个东西：

① 配置执行器：点击执行器管理 -- 新增执行器 -- 填写参数保存即可

（注册方式选择手动录入，机器地址为下面客户端springboot项目yml中的xxl.job.executor.port参数）

② 新建任务：任务管理 -- 新建任务 -- 填写参数保存即可

（执行器选择上面创建的job-执行器，Cron表示每三秒执行一次，JobHandler即客户端springboot项目中@JobHandler的value）

2. 搭建客户端（即实际中我们的项目）

这里以官方demo为例：xxl-job-executor-sample-springboot

配置：

server.port=8082
logging.config=classpath:logback.xml

xxl.job.admin.addresses=http://127.0.0.1:8090/ #即xxl-job-admin的地址
xxl.job.executor.appname=job-zhaobin #创建的AppName
xxl.job.executor.ip=
xxl.job.executor.port=9092 #执行器的执行地址端口号

### xxl-job, access token
xxl.job.accessToken=

### xxl-job log path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

编写核心定时job：

package com.xxl.job.executor.service.jobhandler;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
import java.util.concurrent.TimeUnit;

/**
 * 任务Handler示例（Bean模式）
 * 开发步骤： 1、继承"IJobHandler"：“com.xxl.job.core.handler.IJobHandler”；
 * 2、注册到Spring容器：添加“@Component”注解，被Spring容器扫描为Bean实例；
 * 3、注册到执行器工厂：添加“@JobHandler(value="自定义jobhandler名称")”注解，
 * 注解value值对应的是调度中心新建任务的JobHandler属性的值。 4、执行日志：需要通过 "XxlJobLogger.log" 打印执行日志；
 */
@JobHandler(value = "demoJobHandler")
@Component
public class DemoJobHandler extends IJobHandler {

	@Value("${xxl.job.executor.port}")
	private String executorPort;

	// @JobHandler 底层实现 value demoJobHandler 名称 对应存放类的class地址
	// com.xxl.job.executor.service.jobhandler 在使用反射机制 执行execute
	// 目的是为了反射统一执行方法
	@Override
	public ReturnT execute(String param) throws Exception {
		// 任务调度执行地址
		System.out.println("####DemoJobHandler####execute()执行 executorPort：" + executorPort);
		return SUCCESS;
	}

}

此时，启动xxl-job-executor-sample-springboot，会发现控制台会每隔3秒打印一次

如想更改Cron规则，直接在xxl-job-admin的任务管理 - 编辑任务 - 更改Cron表达式即可。

拓展：任务管理有暂停和恢复的功能，必要时可以使用：

3. 搭建执行器集群

① 模拟集群，同时启动两个xxl-job-executor-sample-springboot，yml如下：

server.port=8081

logging.config=classpath:logback.xml

xxl.job.admin.addresses=http://127.0.0.1:8090/
### xxl-job executor address
xxl.job.executor.appname=job-zhaobin
xxl.job.executor.ip=
xxl.job.executor.port=9091

### xxl-job, access token
xxl.job.accessToken=

### xxl-job log path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

server.port=8082

logging.config=classpath:logback.xml

xxl.job.admin.addresses=http://127.0.0.1:8090/
### xxl-job executor address
xxl.job.executor.appname=job-zhaobin
xxl.job.executor.ip=
xxl.job.executor.port=9092

### xxl-job, access token
xxl.job.accessToken=

### xxl-job log path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job log retention days
xxl.job.executor.logretentiondays=-1

② xxl-job-admin配置

编辑执行器，新增一个机器地址9092，逗号隔开

任务管理，路由策略改为轮训：

同时启动，可以看到8081和8082轮训执行！

三. 搭建xxl-job-admin集群并整合SpringBoot

1. xxl-job-admin宕机了怎么，会导致所有的任务无法执行，怎么解决？ 没错，xxl-job-admin实现集群

调度中心支持集群部署，提升调度系统容灾和可用性。

调度中心集群部署时，几点要求和建议：（拷贝的官方文档）

• DB配置保持一致；
• 登陆账号配置保持一致；
• 集群机器时钟保持一致（单机集群忽视）；
• 建议：推荐通过nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

这里以Nginx为例，首先在本机host文件配置伪域名，然后配置nginx.conf如下：

    upstream  backServer{
	server 127.0.0.1:8080 weight=1;
	server 127.0.0.1:8081 weight=1;
    }
    server {
        listen       80;
        server_name  xxl-job-bin.com;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location / {
            proxy_pass   http://backServer;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

启动两个xxl-job-admin，此时，先启动8080，再启动8081，浏览器访问：xxl-job-bin.com，执行任务。点击回复/执行

会发现会一直走8081服务器，即后面启动的服务器（报错是因为找不到执行器，不用考虑）：

当关闭8081，则会走8080端口去执行（符合上面图中一主一备的说法）

2. 编写完成属于自己的SpringBoot项目

首先需要把官方的demo打到本地仓库（尤其是xxl-job-core）

然后复制官方demo的以下文件：

    

pom如下：

    4.0.0
    
        
        
        
        
    
    com.example
    springboot-xxl-job-demo
    0.0.1-SNAPSHOT
    springboot-xxl-job-demo
    Demo project for Spring Boot

    
        3.0.1
        2.2
        4.3.14.RELEASE
        2.9.4
        1.8.13
        1.7.25
        2.3.23
        4.12
        9.2.24.v20180105
        4.0.51
        4.5.5
        1.3
        4.1
        3.7
        1.5
        0.9.5.2
        5.1.45
        1.3.1
        3.4.5
        2.4.13
        2.3.0
        1.5.10.RELEASE
        UTF-8
        UTF-8
        1.8
        1.9.2-SNAPSHOT
    
    
        
            
                
                org.springframework.boot
                spring-boot-starter-parent
                ${spring-boot.version}
                pom
                import
            

            
            
                org.eclipse.jetty
                jetty-server
                ${jetty-server.version}
            
            
                org.eclipse.jetty
                jetty-util
                ${jetty-server.version}
            
            
                org.eclipse.jetty
                jetty-http
                ${jetty-server.version}
            
            
                org.eclipse.jetty
                jetty-io
                ${jetty-server.version}
            

        
    
    
        
        
            org.springframework.boot
            spring-boot-starter-web
        
        
            org.springframework.boot
            spring-boot-starter-test
            test
        
        
        
            com.xuxueli
            xxl-job-core
            1.9.2-SNAPSHOT
        
    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
        
    

注意官方demo中不用parent的方式引入springboot版本，而是直接在一个  标签引入：

 
       
           
               
                org.springframework.boot
                spring-boot-starter-parent
                ${spring-boot.version}
                pom
                import
           

新建job：

package com.example.job;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;

@Component
@JobHandler("myJob")
public class MyJob extends IJobHandler {

    @Value("${server.port}")
    private String serverPort;

    @Override
    public ReturnT execute(String param) throws Exception {
        System.out.println("xxl-job传递参数param:" + param);
        return SUCCESS;
    }
}

注意：@JobHandler("myJob")的value要与任务管理的JobHandler一致

application.peoperties配置如下：

server.port=8082
        
logging.config=classpath:logback.xml
        
xxl.job.admin.addresses=http://127.0.0.1:8080/

xxl.job.executor.appname=job-zhaobin
xxl.job.executor.ip=
xxl.job.executor.port=9091
        
xxl.job.accessToken=
        
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler

xxl.job.executor.logretentiondays=-1

注意：appname和xxl执行端口要和下图一致：

此时，启动xxl-job-admin，启动springboot项目，修改参数分别为hahaha和xixixi，cron为2秒执行一次：

可以看到后台打印日志：

至此，分布式任务调度平台xxl-job正式搭建并整合完毕！

补充知识：

1. 常用的路由策略：

① 故障转移：会一直走第一个，当第一个挂了，会走第二个（即一主一备） 

② 分片广播：第一个和第二个会一起执行（不推荐，job会重复执行）

③ 第一个和最后一个：会一直在第一个和最后一个执行

④ 轮训：类似nginx轮训机制

2. 如果第一次job没有执行完毕，第二次还会执行吗？ 会执行

3. 任务超时时间：任务在规定时间内没有完成的情况下，就会进行重试
    阻塞处理策略：选择单机串行即可