xxl-job官方文档学习笔记
参考：官方文档
XXL-JOB是一个分布式任务调度平台。
1 特性
- 简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
- 动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
- 调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
- 执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA；
- 注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
- 弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
- 触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
- 调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
- 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
- 任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
- 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
- 任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
- 路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
- 分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
- 动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
- 故障转移：任务路由策略选择”故障转移”情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
- 任务进度监控：支持实时监控任务进度；
- Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
- GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
- 脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
- 命令行任务：原生提供通用命令行任务Handler（Bean任务，”CommandJobHandler”）；业务方只需要提供命令行即可；
- 任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
- 一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
- 自定义任务参数：支持在线配置调度任务入参，即时生效；
- 调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
- 数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
- 邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
- 推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
- 运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
- 全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
- 跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
- 国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
- 容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
- 线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入”Slow”线程池，避免耗尽调度线程，提高系统稳定性；
- 用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
- 权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；
2 安装配置
2.1 源码下载
下载地址：
https://github.com/xuxueli/xxl-job
下载的源码：
xxl-job-2.3.0.zip
2.2 数据库初始化
找到源码中数据库脚本，执行脚本初始化数据库：
/xxl-job-2.3.0/doc/db/tables_xxl_job.sql
调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例。如果mysql做主从，调度中心集群节点务必强制走主库。
执行初始化脚本之后，会创建xxl-job使用的数据库和表：
2.3 编译源码
解压源码包，执行 mvn install。
源码结构如下：
xxl-job-admin：调度中心
xxl-job-core：公共依赖
xxl-job-executor-samples：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
：xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器，推荐这种方式；
：xxl-job-executor-sample-frameless：无框架版本；
2.4 配置部署xxl-job-admin调度中心
调度中心是一个统一管理调度任务的平台，提供了web管理界面。
基于springboot实现的，以jar包方式运行。
调度中心配置文件
调度中心的配置文件位置：
src/main/resources/application.properties
配置说明如下：
### web管理平台配置：端口和上下文
server.port=8080
server.servlet.context-path=/xxl-job-admin
### 执行器
management.server.servlet.context-path=/actuator
management.health.mail.enabled=false
### 静态资源
spring.mvc.servlet.load-on-startup=0
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/
### freemarker模板资源
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########
### mybatis配置
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
#mybatis.type-aliases-package=com.xxl.job.admin.core.model
### 数据库配置【必填】（需要修改为自己mysql的连接信息）
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
### datasource-pool 数据库连接池配置
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=10
spring.datasource.hikari.maximum-pool-size=30
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=HikariCP
spring.datasource.hikari.max-lifetime=900000
spring.datasource.hikari.connection-timeout=10000
spring.datasource.hikari.connection-test-query=SELECT 1
spring.datasource.hikari.validation-timeout=1000
### 报警邮箱设置
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN 【选填】：非空时启用；
xxl.job.accessToken=
### 调度中心国际化配置 【必填】： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 【必填】：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30
一般来说，配置一下mysql的连接信息就可以了，其他的按需配置。
编译
修改完配置文件之后，在xxl-job-admin目录下执行mvn clean 和 mvn install重新编译打包，生成jar包：
/xxl-job-admin/target/xxl-job-admin-2.3.0.jar
启动服务
将xxl-job-admin-2.3.0.jar上传到服务器自定义目录（例如/usr/local/myapp/xxl-job-admin），启动执行：
nohup java -jar xxl-job-admin-2.3.0.jar &
从logback.xml配置文件中可以知道，日志文件输出位置/data/applogs/xxl-job/xxl-job-admin.log。
访问web控制台
地址为：
http://ip:8080/xxl-job-admin
注意，如果8080端口不能访问，可以配置防火墙centos7防火墙开通指定端口的访问权限（以8080端口为例）
默认登录用户名/密码：
admin/123456
管理界面如下：
至此 “xxl-job-admin调度中心" 已经部署成功。
2.5 配置执行器
执行器负责接收 “调度中心” 的调度任务并执行任务。可直接部署执行器，也可以将执行器集成到现有业务项目中。
官方推荐SpringBoot方式创建执行器。
xxl-job-executor-sample-springboot是官方提供的一个使用SpringBoot创建执行器的例子。
创建一个执行器最主要是要引入xxl-job-core依赖。
执行器的配置文件
配置文件的位置：
src/main/resources/application.properties
配置文件内容：
# port
server.port=8081
# 这里设置SpringBoot不占用web端口，一般定时任务都可以设置成不占用端口
#spring.main.web-environment=false
# 日志配置
logging.config=classpath:logback.xml
### 调度中心部署的地址【选填】：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### 执行器通讯TOKEN 【选填】：非空时启用；
xxl.job.accessToken=
### 执行器AppName 【选填】：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### 执行器注册 【选填】：优先使用该配置作为注册地址，为空时使用内嵌服务 ”IP:PORT“ 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### 执行器IP 【选填】：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
执行器端口号 【选填】：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9999
### 执行器运行日志文件存储磁盘路径 【选填】 ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### 执行器日志文件保存天数 【选填】 ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30
实例化执行器Bean
配置文件位置：
src/main/java/com/xxl/job/executor/core/config/XxlJobConfig.java
内容如下：
// 表明这是个配置类
@Configuration
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
// 注入application.properties文件中的配置
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.appname}")
private String appname;
@Value("${xxl.job.executor.address}")
private String address;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
// 实例化一个执行器
@Bean
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppname(appname);
xxlJobSpringExecutor.setAddress(address);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
/**
* 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
*
* 1、引入依赖：
*
* org.springframework.cloud
* spring-cloud-commons
* ${version}
*
*
* 2、配置文件，或者容器启动变量
* spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
*
* 3、获取IP
* String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
*/
}
部署执行器
修改appplication.properties配置文件中xxl.job.admin.addresses指向的调度中心的地址。
然后执行mvn install 生成jar包，最后上传到服务器，启动即可。
启动后，就能在控制台看见注册的执行器了。
3 第一个任务
3.1 Hello World
xxl支持很多模式的定时任务调度。
其中，GLUE模式(Java) 是在调度中心配置一段执行代码，代码托管在调度中心。
新建任务
登录调度中心->任务管理，点击新增。
点击保存，列表中就新增了一个任务：
编辑Java代码逻辑
点击右侧的操作按钮，选择 “GLUE IDE” ，进入代码编辑器。
“GLUE模式(Java)” 运行模式的任务实际上是一段继承自
IJobHandler的Java类代码，它将会在注册的执行器中运行，可使用@Resource/@Autowire注入执行器里定义的其他服务。
现在，简单的编写一下代码，来测试我们的第一个定时任务。
package com.xxl.job.service.handler;
import com.xxl.job.core.context.XxlJobHelper;
import com.xxl.job.core.handler.IJobHandler;
public class DemoGlueJobHandler extends IJobHandler {
@Override
public void execute() throws Exception {
XxlJobHelper.log("Hello World，这是我的第一个定时任务！");
}
}
启动定时任务
点击右侧的操作，选择 启动。
定时任务启动，会根据cron表达式设置的时间和周期，定时任务。
查看日志
进入 调度日志，查看任务日志。
4 配置属性详细说明
基础配置：
-
执行器：任务绑定的执行器，任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 “执行器管理” 进行设置; -
任务描述：任务的描述信息，便于任务管理； -
负责人：任务的负责人； -
报警邮件：任务调度失败时邮件通知的邮箱地址，支持配置多邮箱地址，配置多个邮箱地址时用逗号分隔；
触发配置：
调度类型：无：该类型不会主动触发调度；CRON：该类型将会根据cron表达式，触发任务调度；固定速度：该类型将会以固定速度，触发任务调度；按照固定的间隔时间，周期性触发；
Cron：触发任务执行的Cron表达式；固定速度：固定速度的时间间隔，单位为秒；
任务配置：
运行模式：BEAN模式：任务以JobHandler方式维护在执行器端；需要结合 “JobHandler” 属性匹配执行器中任务。GLUE模式(Java)：任务以Java源码方式维护在调度中心；该模式的任务实际上是一段继承自IJobHandler的Java类代码并 “groovy” 源码方式维护，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务；GLUE模式(Shell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 “shell” 脚本；GLUE模式(Python)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 “python” 脚本；GLUE模式(PHP)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 “php” 脚本；GLUE模式(NodeJS)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 “nodejs” 脚本；GLUE模式(PowerShell)：任务以源码方式维护在调度中心；该模式的任务实际上是一段 “PowerShell” 脚本；
JobHandler：运行模式为 “BEAN模式” 时生效，对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值；任务参数：任务执行所需的参数；
高级配置：
-
路由策略：当执行器集群部署时，提供丰富的路由策略，包括；FIRST（第一个）：固定选择第一个机器；LAST（最后一个）：固定选择最后一个机器；ROUND（轮询）：；RANDOM（随机）：随机选择在线的机器；CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片参数开发分片任务；
-
子任务ID：每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取)，当本任务执行结束并且执行成功时，将会触发子任务ID所对应的任务的一次主动调度。 -
调度过期策略：忽略：调度过期后，忽略过期的任务，从当前时间开始重新计算下次触发时间；立即执行一次：调度过期后，立即执行一次，并从当前时间开始重新计算下次触发时间；
-
阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；单机串行（默认）：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；
-
任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务； -
失败重试次数：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；
5 xxl-job支持的任务类型
xxl-job支持7种类型的任务。
5.1 BEAN模式
Bean模式，支持基于类的开发方式和基于方法的开发模式。
基于类(Class)的开发模式：
- 优点：不限制项目环境，兼容性好。即使是无框架项目，如main方法直接启动的项目也可以提供支持，可以参考示例项目 “xxl-job-executor-sample-frameless”；
- 缺点：
- 每个任务需要占用一个Java类，造成类的浪费；
- 不支持自动扫描任务并注入到执行器容器，需要手动注入。
在执行器中，开发步骤：
1、新建一个类，继承com.xxl.job.core.handler.IJobHandler；
2、实现任务方法；
3、手动调用XxlJobExecutor.registJobHandler("demoJobHandler", new DemoJobHandler());注册任务到执行器中。
基于方法(method)的开发模式：
- 优点：
- 每个任务只需要开发一个方法，并添加
@XxlJob注解即可，更加方便、快速。 - 支持自动扫描任务并注入到执行器容器。
- 每个任务只需要开发一个方法，并添加
- 缺点：要求Spring容器环境；
基于方法开发的任务，底层会生成JobHandler代理，和基于类的方式一样，任务也会以JobHandler的形式存在于执行器任务容器中。
开发步骤：
1、在Spring Bean实例中，开发Job方法；
2、为Job方法添加注解 "@XxlJob(value="自定义jobhandler名称", init = "JobHandler初始化方法", destroy = "JobHandler销毁方法")"，注解value值对应的是调度中心新建任务的JobHandler属性的值。
3、需要通过 "XxlJobHelper.log" 打印执行日志；
4、默认任务结果为 "成功" 状态，不需要主动设置；如有诉求，比如设置任务结果为失败，可以通过 "XxlJobHelper.handleFail/handleSuccess" 自主设置任务结果；
参考示例：
参考xxl-job-executor-sample-springboot示例项目
中的src/main/java/com/xxl/job/executor/service/jobhandler/SampleXxlJob.java
其他的可以看官方文章。