分布式任务XXL-JOB

1，XXL-JOB实现以下功能

1、任务统一管理，提供图形化界面对任务进行配置和调度。
2、任务并发控制，同一个任务在同一时间只能允许一个执行。
3、任务弹性扩容，可根据繁忙情况动态增减服务器分摊压力，对大任务进行分 片处理。
4、任务依赖问题，能够处理任务包含子任务的情况，前一个完成后触发子任务 执行。
5、支持多类型的任务，支持Spring Bean、Shell等。
6、任务节点高可用，任务节点异常或者繁忙时能够转移到其他节点执行。
7、调度中心高可用，支持集群部署，避免出现单点故障。
8、执行状态监控，方便查看任务执行状态，异常情况告警，支持多渠道通知。

2，quartz的不足

Quartz作为开源作业调度中的佼佼者，是作业调度的首选。但是集群环境中Quartz采用 API的方式对任务进行管理，从而可以避免上述问题，但是同样存在以下问题：

• 问题一：调用API的的方式操作任务，不人性化；
• 问题二：需要持久化业务QuartzJobBean到底层数据表中，系统侵入性相当严 重。
• 问题三：调度逻辑和QuartzJobBean耦合在同一个项目中，这将导致一个问 题，在调度任务数量逐渐增多，同时调度任务逻辑逐渐加重的情况下，此时调度系统 的性能将大大受限于业务；
• 问题四：quartz底层以“抢占式”获取DB锁并由抢占成功节点负责运行任务， 会导致节点负载悬殊非常大；
  而XXL-JOB通过执行器实现“协同分配式”运行任务， 充分发挥集群优势，负载各节点均衡，弥补了quartz的上述不足之处。

3，XXL-JOB整体架构

XXL-JOB最终选择自研调度组件（早期调度组件基于Quartz）； 一方面是为了精简系统降低冗余依赖，另一方面是为了提供系统的可控度与稳定性；
XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块进行任务调度时，将会解析 不同的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型类似RPC调用，
调度中心提供调用代理的功能，而执行器提供远程服务的功能。

4，快速上手

官网框架地址： https://github.com/xuxueli/xxl-job
官网文档地址： https://www.xuxueli.com/xxl-job/

个人注解版本：https://gitee.com/luckylanyu/xxl-job-notes

4.1 项目结构：

xxl-job-admin：调度中心
xxl-job-core：公共依赖
xxl-job-executor-samples：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
    ：xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器，推荐这种方式；
    ：xxl-job-executor-sample-spring：Spring版本，通过Spring容器管理执行器，比较通用；
    ：xxl-job-executor-sample-frameless：无框架版本；
    ：xxl-job-executor-sample-jfinal：JFinal版本，通过JFinal管理执行器；
    ：xxl-job-executor-sample-nutz：Nutz版本，通过Nutz管理执行器；
    ：xxl-job-executor-sample-jboot：jboot版本，通过jboot管理执行器；

4.2 初始化数据库：

xxl-job-notes/ doc / db /tables_xxl_job.sql

1. xxl_job_lock：任务调度锁表；
2. xxl_job_group：执行器信息表，维护任务执行器信息； 
3. xxl_job_info：调度扩展信息表： 用于保存XXL-JOB调度任务的扩展信息，如 任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等； 
4. xxl_job_log：调度日志表： 用于保存XXL-JOB任务调度的历史信息，如调度结 果、执行结果、调度入参、调度机器和执行器等等； 
5. xxl_job_log_report：调度日志报表：用户存储XXL-JOB任务调度日志的报表， 调度中心报表功能页面会用到； 
6. xxl_job_logglue：任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版 本回溯功能；
7. xxl_job_registry：执行器注册表，维护在线的执行器和调度中心机器地址信 息；
8. xxl_job_user：系统用户表；

4.3 配置

1、调度中心配置

/xxl-job/xxl-job-admin/src/main/resources/application.properties

### web
server.port=8080
server.servlet.context-path=/xxl-job-admin

### actuator
management.server.servlet.context-path=/actuator
management.health.mail.enabled=false

### resources
spring.mvc.servlet.load-on-startup=0
spring.mvc.static-path-pattern=/static/**
spring.resources.static-locations=classpath:/static/

### freemarker
spring.freemarker.templateLoaderPath=classpath:/templates/
spring.freemarker.suffix=.ftl
spring.freemarker.charset=UTF-8
spring.freemarker.request-context-attribute=request
spring.freemarker.settings.number_format=0.##########

### mybatis
mybatis.mapper-locations=classpath:/mybatis-mapper/*Mapper.xml
#mybatis.type-aliases-package=com.xxl.job.admin.core.model

### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=123456
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### datasource-pool
spring.datasource.type=com.zaxxer.hikari.HikariDataSource
spring.datasource.hikari.minimum-idle=10
spring.datasource.hikari.maximum-pool-size=30
spring.datasource.hikari.auto-commit=true
spring.datasource.hikari.idle-timeout=30000
spring.datasource.hikari.pool-name=HikariCP
spring.datasource.hikari.max-lifetime=900000
spring.datasource.hikari.connection-timeout=10000
spring.datasource.hikari.connection-test-query=SELECT 1

### xxl-job, 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
[email protected]
[email protected]
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, 调度中心通讯token
xxl.job.accessToken=

### xxl-job, 调度中心国际化配置
xxl.job.i18n=zh_CN

## xxl-job, 调度线程池最大小城配置
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100

### xxl-job, 日志保存天数
xxl.job.logretentiondays=30

2、执行器配置

/xxl-job/xxl-job-executor-samples/xxl-job-executor-sample- springboot/src/main/resources/application.properties

### web port
server.port=8081
### no web
#spring.main.web-environment=false

### log config
logging.config=classpath:logback.xml


### xxl-job 调度中心地址，多个以逗号分隔 
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=

### xxl-job 执行器名称，为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job 执行器注册地址:默认使用注册地址，否则使用ip:端口，如果地址是空
xxl.job.executor.address=
### xxl-job 执行器IP,默认为空表示自动获取IP
xxl.job.executor.ip=
### xxl-job 执行器端口,<=0自动获取（默认9999）
xxl.job.executor.port=9999
### xxl-job 执行器运行日志路径
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job 执行器日志文件保存天数
xxl.job.executor.logretentiondays=30

4.4 启动服务

分别运行调度器和执行器，打开http://localhost:8080/xxl-job-admin/

面板操作详细可以参考官方文档 https://www.xuxueli.com/xxl-job