分布式任务调度平台XXL-JOB

一：简介

1.1 概述

---

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

• 官网地址 http://www.xuxueli.com/xxl-job/
• 中文文档

1.2 特性

---

1. 简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2. 动态：支持动态修改任务状态. 启动/停止任务，以及终止运行中任务，即时生效；
3. 调度中心HA（中心式）：调度采用中心式设计，“调度中心”基于集群Quartz实现并支持集群部署，可保证调度中心HA；
4. 执行器HA（分布式）：任务分布式执行，任务"执行器"支持集群部署，可保证任务执行HA；
5. 注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
6. 弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
7. 路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；.
8. 故障转移：任务路由策略选择"故障转移"情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
9. 阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
10. 任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
11. 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
12. 任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方面的扩展短信、钉钉等告警方式；
13. 分片广播任务：执行器集群部署时，任务路由策略选择"分片广播"情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
14. 动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
15. 事件触发：除了"Cron方式"和"任务依赖方式"触发任务执行之外，支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务，可根据业务事件灵活触发。
16. 任务进度监控：支持实时监控任务进度；
17. Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
18. GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
19. 脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
20. 命令行任务：原生提供通用命令行任务Handler（Bean任务，“CommandJobHandler”）；业务方只需要提供命令行即可；
21. 任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
22. 一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
23. 自定义任务参数：支持在线配置调度任务入参，即时生效；
24. 调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
25. 数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
26. 邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
27. 推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
28. 运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
29. 全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
30. 跨平台：原生提供通用HTTP任务Handler（Bean任务，“HttpJobHandler”）；业务方只需要提供HTTP链接即可，不限制语言、平台；
31. 国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
32. 容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；

二: 安装调度中心xxl-job-admin和执行器 xxl-job-executor-samples

1. 下载最新releases版本源代码Source Code https://github.com/xuxueli/xxl-job/releases

2. 使用IDEA import project

   • xxl-job 包含一些文档和3个工程
     • doc 文档
       • tables_xxl_job.sql
       • XXL-JOB官方文档.md
       • XXL-JOB架构图.pptx
     • xxl-job-admin：调度中心
     • xxl-job-core：公共依赖
     • xxl-job-executor：执行器Sample示例（选择合适的版本执行器，可直接使用，也可以参考其并将现有项目改造成执行器）
       • xxl-job-executor-sample-spring：Spring版本，通过Spring容器管理执行器，比较通用，推荐这种方式；
       • xxl-job-executor-sample-springboot：Springboot版本，通过Springboot管理执行器；
       • xxl-job-executor-sample-jfinal：JFinal版本，通过JFinal管理执行器；
       • xxl-job-executor-sample-nutz：Nutz版本，通过Nutz管理执行器；
         

3. 初始化“调度数据库”
   选中一个数据库(数据库名称随意)，然后执行sql文件 xxl-job-2.0.1/doc/db/tables_xxl_job.sql，此sql文件会生成16张表。

   mysql> CREATE DATABASE `xxl-job` DEFAULT CHARACTER SET utf8mb4;
   mysql> USE xxl-job;
   mysql> source ~/Projects/open/xxl-job-2.0.1/doc/db/tables_xxl_job.sql
   

   
   

4. 配置部署“调度中心” xxl-job-admin
   作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。
   修改属性文件xxl-job-2.0.1/xxl-job-admin/src/main/resources/application.properties

   ### 调度中心JDBC链接(需要修改ip、database、username、password)
   spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl-job?Unicode=true&characterEncoding=UTF-8
   spring.datasource.username=root
   spring.datasource.password=root123
   spring.datasource.driver-class-name=com.mysql.jdbc.Driver
   
   ### 报警邮箱(根据具体情况来修改)
   xxl.job.mail.host=smtp.163.com
   xxl.job.mail.port=25
   xxl.job.mail.ssl=false
   [email protected]
   xxl.job.mail.password=xxx
   xxl.job.mail.sendNick=《任务调度平台XXL-JOB》
   

   在IDEA中启动XxlJobAdminApplication，如果启动报错xxl-job-admin.log找不到就自己创建出来

   18:33:40,907 |-ERROR in ch.qos.logback.core.rolling.RollingFileAppender[file] - Failed to create parent directories for [/data/applogs/xxl-job/xxl-job-admin.log]
   

   cd /data
   /data sudo mkdir -p applogs/xxl-job
   cd applogs/xxl-job
   sudo touch xxl-job-admin.log
   sudo chmod 777 xxl-job-admin.log
   

   启动成功访问http://localhost:8080/xxl-job-admin/
   
   

5. 配置部署“执行器项目” xxl-job-executor-samples
   作用：负责接收“调度中心”的调度并执行；可直接部署执行器，也可以将执行器集成到现有业务项目中。

修改配置文件xxl-job-executor-sample-springboot/src/main/resources/application.properties, 自己查看一下配置，这里该属性文件没什么要修改的，可以直接启动XxlJobExecutorApplication，启动时注意看是否报错，有肯能由于权限的问题会报一些文件不存在的异常，可以自己预先创建好这些目录文件再重启项目

cd /data/applogs/xxl-job
sudo touch xxl-job-executor-sample-springboot.log
sudo chmod 777 xxl-job-executor-sample-springboot.log

sudo mkdir -p jobhandler/gluesource

启动XxlJobExecutorApplication成功后，查看调度中心xxl-job-admin中的任务管理菜单

三：开发第一个任务“Hello World”

本示例以新建一个 “GLUE模式(Java)” 运行模式的任务为例。“GLUE模式(Java)”的执行代码托管到调度中心在线维护，相比“Bean模式任务”需要在执行器项目开发部署上线，更加简便轻量。

创建任务之前，请确认“调度中心”和“执行器”项目已经成功部署并启动；

1. 新增任务
   

测试任务1指的是xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/java/com/xxl/job/executor/service/jobhandler/DemoJobHandler.java

2. 选择运行模式为GLUE(Java)
   

请点击任务右侧 “GLUE” 按钮，进入 “GLUE编辑器开发界面” 。“GLUE模式(Java)” 运行模式的任务默认已经初始化了示例任务代码，即打印Hello World。“GLUE模式(Java)” 运行模式的任务实际上是一段继承自IJobHandler的Java类代码，它在执行器项目中运行，可使用@Resource/@Autowire注入执行器里中的其他服务。

3. 任务代码
   

感觉GLUE(Java)适合任务是单个Java文件就能搞定，如果要访问数据库，一般数据库操作会写到其它文件中，如果任务涉及到多个文件应该使用BEAN模式

4. 点击执行(执行是手动执行一次，可以点击启动根据Cron来触发)
   

执行任务时可以输入参数，输入的值会以参数的形式被传递到execute(String param)方法中。

5. 查看日志
   点击任务右侧 “日志” 按钮，可前往任务日志界面查看任务日志。
   在任务日志界面中，可查看该任务的历史调度记录以及每一次调度的任务调度信息、执行参数和执行信息。运行中的任务点击右侧的“执行日志”按钮，可进入日志控制台查看实时执行日志。