XXL-JOB分布式任务调度平台

分布式任务调度平台(XXL-JOB)

1、源码下载地址

①、GitHub:https://github.com/xuxueli/xxl-job

②、码云:https://gitee.com/xuxueli0323/xxl-job

回到顶部

2、文档地址

①、中文文档:http://www.xuxueli.com/xxl-job/#/

②、英文文档:http://www.xuxueli.com/xxl-job/en/#/

特性

  • 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
  • 2、动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
  • 3、调度中心HA(中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心HA;
  • 4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
  • 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
  • 6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
  • 7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
  • 8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。
  • 9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
  • 10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
  • 11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;其中分片任务支持分片粒度的失败重试;
  • 12、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;
  • 13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;
  • 14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
  • 15、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。
  • 16、任务进度监控:支持实时监控任务进度;
  • 17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
  • 18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
  • 19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
  • 20、命令行任务:原生提供通用命令行任务Handler(Bean任务,“CommandJobHandler”);业务方只需要提供命令行即可;
  • 21、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
  • 22、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
  • 23、自定义任务参数:支持在线配置调度任务入参,即时生效;
  • 24、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
  • 25、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
  • 26、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
  • 27、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
  • 28、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
  • 29、全异步:任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰,理论上支持任意时长任务的运行;
  • 30、跨语言:调度中心与执行器提供语言无关的 RESTful API 服务,第三方任意语言可据此对接调度中心或者实现执行器。除此之外,还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案;
  • 31、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
  • 32、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;
  • 33、线程池隔离:调度线程池进行隔离拆分,慢任务自动降级进入"Slow"线程池,避免耗尽调度线程,提高系统稳定性;
  • 34、用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;
  • 35、权限控制:执行器维度进行权限控制,管理员拥有全量权限,普通用户需要分配执行器权限后才允许相关操作;

初始化数据库

初始化脚本在上面源码目录的 /doc/db/tables_xxl_job.sql ,将此脚本在MySQL数据库中执行一遍。
XXL-JOB分布式任务调度平台_第1张图片

修改调度中心的配置文件

文件修改地址:/xxl-job/xxl-job-admin/src/main/resources/xxl-job-admin.properties

文件修改内容 :

  • 当中的数据库地址 账号 以及密码 (必须配置)
  • 报警邮箱 (可以配置)

XXL-JOB分布式任务调度平台_第2张图片

执行启动类

XXL-JOB分布式任务调度平台_第3张图片

在浏览器输入 http://localhost:8080/xxl-job-admin 然后输入用户名和密码
XXL-JOB分布式任务调度平台_第4张图片

admin / 123456 (源代码为默认 可以配置)

XXL-JOB分布式任务调度平台_第5张图片

新增执行器

AppName与配置中相同

名称 自定义

注册方式 自动 手动

机器地址 自动—注册时进行扫描获取

​ 手动—手动进行填写

XXL-JOB分布式任务调度平台_第6张图片

新增任务管理

执行器 自选

任务描述 自定义

负责人 自定义

报警邮件 可填写 (暂为空)

调度类型 CRON / 无 / 固定速度 (暂为CRON)

固定速度 cron表达式 / second (暂为cron表达式)

运行模式 :BEAN / GLUE(java / shell / python / php / nodejs / powershell) (暂为BEAN)

JobHandler : @JobHandler(value = “”) @XxlJob("") 中的值 (自定义 但必须与“值”相同)

任务参数 : 可填写 (暂为空)

路由策略 : 第一个 / 最后一个 / 轮询 / 随机 / 一致性HASH / 最不经常使用 / 最近最久未使用 / 故障转移 / 忙碌转移 / 分片广播 (暂为 第一个)

子任务ID: 可填写 (暂为空)

调度过期策略:忽略 / 立即执行一次 (暂为忽略)

阻塞处理策略:单机串行 / 丢弃后续调度 / 覆盖之前调度 (暂未单机串行)

任务超时时间:可填写 (暂为空)

失败重试次数:可填写 (暂为空)

XXL-JOB分布式任务调度平台_第7张图片

操作:

操作 ——> 执行一次/启动 ——> 查看日志

XXL-JOB分布式任务调度平台_第8张图片

参数介绍:

执行器 :

  • AppName:是每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
  • 名称:执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
  • 排序: 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
  • 注册方式:调度中心获取执行器地址的方式,
    自动注册:执行器自动进行执行器注册,调度中心通过底层注册表可以动态发现执行器机器地址;
    手动录入:人工手动录入执行器的地址信息,多地址逗号分隔,供调度中心使用;
  • 机器地址:"注册方式"为"手动录入"时有效,支持人工维护执行器的地址信息;

任务管理:

  • 执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 “执行器管理” 进行设置。
  • 任务描述:任务的描述信息,便于任务管理;
  • 路由策略:当执行器集群部署时,提供丰富的路由策略,包括;
       FIRST(第一个):固定选择第一个机器;
       LAST(最后一个):固定选择最后一个机器;
       ROUND(轮询):;
       RANDOM(随机):随机选择在线的机器;
       CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均 匀散列在不同机器上。
       LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;
       LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;
       FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
       BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;
       SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;
  • Cron:触发任务执行的Cron表达式;
  • 运行模式
       BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 “JobHandler” 属性匹配执行器中任务;
       GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 “groovy” 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;
       GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 “shell” 脚本;
       GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 “python” 脚本;
       GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 “php” 脚本;
       GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 “nodejs” 脚本;
       GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 “PowerShell” 脚本;
  • JobHandler:运行模式为 “BEAN模式” 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
  • 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
       单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
       丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
       覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;
  • 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。
  • 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;
  • 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
  • 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
  • 负责人:任务的负责人;
  • 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数转换成数组传入;

代码:

版本2.0.1:

<dependency>
  <groupId>com.xuxueli</groupId>
  <artifactId>xxl-job-core</artifactId>
  <version>2.0.1</version>
</dependency>

代码实例:

/**
  * 任务Handler示例(Bean模式)(2.0.1版本)
  * 开发步骤: 
  * 1、继承"IJobHandler" “com.xxl.job.core.handler.IJobHandler”;		
  * 2、注册到Spring容器:添加“@Component”注解,被Spring容器扫描为Bean实例;
  * 3、注册到执行器工厂:添加“@JobHandler(value="自定义jobhandler名称")”注解,注解value值对应的	   *是调度中心新建任务的JobHandler属性的值。
  * 4、执行日志:需要通过 "XxlJobLogger.log" 打印执行日志;
  */

 package com.xxl.job.executor.service.jobhandler;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.springframework.stereotype.Component;

/**
 * @author fueen
 * 编写自己的定时任务Handler
 * 继承IJobHandler
 *
 */
@JobHandler(value = "MyJobHandler")
@Component
public class MyJobHandler extends IJobHandler {
    /**
     * 重写execute方法,里面执行相应的功能
     * @param param
     * @return
     * @throws Exception
     */
    @Override
    public ReturnT<String> execute(String param) throws Exception {
        System.out.println("我们不能失去信仰");
        return SUCCESS;
    }
}

最新版本:

<version>2.3.0</version>

代码实例:

    /**
     * 1、简单任务示例(Bean模式)
     */
    @XxlJob("demoJobHandler")
    public void demoJobHandler() throws Exception {
        XxlJobHelper.log("XXL-JOB, Hello World.");

        for (int i = 0; i < 5; i++) {
            XxlJobHelper.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        // default success
    }

具体更多实现方式 可参考源代码中 sampleXxxIjob.java类(类中便是几种实例方式)

集合springBoot项目 把配置部分集合就OK了

一致性问题

在集群部署时,多台调度器如何保证任务不会重复调用呢?

  1. 并发情况下: 通过mysql悲观锁实现分布式锁(for update语句);
    com.xxl.job.admin.core.thread.JobScheduleHelper#start():70
  2. 任务阻塞或调度密集情况下: 结合 单机路由策略(如:第一台、一致性哈希) + 阻塞策略(如:单机串行、丢弃后续调度)来规避

如何保证任务不会漏呢?

  1. xxl-job 提供了过期处理策略(Timewheel),大致如下:
    • 过期超5s:本次忽略,当前时间开始计算下次触发时间
    • 过期5s内:立即触发一次,当前时间开始计算下次触发时间
      com.xxl.job.admin.core.thread.JobScheduleHelper#start():83
  2. 调度结果丢失处理: 调度记录停留在 “运行中” 状态超过10min,且对应执行器心跳注册失败不在线,则将本地调度主动标记失败(宕机的情况)

(动态)分片与广播

分片:将任务拆分,分发到每个服务器上并发执行,以此增加执行
以执行器为粒度,根据执行器ip自然排序编号,结合任务入参,在发布任务时即可做到某片执行某些数据
分片代码:

for (int i = 0; i < group.getRegistryList().size(); i++) {
	 processTrigger(group, jobInfo, finalFailRetryCount, triggerType, i, group.getRegistryList().size());
}
com.xxl.job.admin.core.trigger.XxlJobTrigger#trigger(…):82
1234

广播: 将完整任务分发每个服务器上(场景:每个执行节点的缓存更新/执行脚本)

代码同上,对每个服务器执行一次任务

你可能感兴趣的:(XXL-JOB,java)